Ar ôl y Chwyldro Bolsieficiaid gwaedlyd ym 1917, fe wnaeth arweinwyr yr Undeb Sofietaidd newydd amddiffyn eu hawdurdod trwy ddefnyddio heddlu cudd. Gyda chynnydd Joseph Stalin, ehangodd yr heddlu cudd a oedd unwaith wedi'i ddefnyddio ar gyfer gorfodi yn unig, ei reolaeth dros y wlad. Ym 1934, fe'i gelwir yn Gomisiynydd Materion Mewnol y Bobl, sydd yn Rwsieg wedi'i dalfyrru i NKVD.

Yr NKVD oedd y cerbyd a yrrodd ran fawr o Purges Stalin. Ar ôl marwolaeth Vladimir Lenin a’r frwydr greulon am brif sedd y blaid, roedd Stalin angen ffordd i adeiladu’r Undeb Sofietaidd fel cenedl gomiwnyddol ddiwydiannol ac i gynnal ei rym. Yn unol â’i Gynllun Pum Mlynedd, sefydlodd wersylloedd gwaith, newyn (trwy godi cwotâu grawn pan wyddai nad oedd modd eu llenwi), a glanhau carthion er mwyn “glanhau” y genedl a’i phlaid ei hun. Yn hanesyddol roedd Stalin yn baranoiaidd a defnyddiodd yr NKVD fel ei rym preifat ei hun i ddileu pobl yr oedd yn meddwl eu bod yn annheyrngar neu'n fygythiad.

Prif ddiben yr NKVD oedd diogelwch cenedlaethol, a gwnaethant yn siŵr bod eu presenoldeb yn hysbys iawn. Arestiwyd pobl a'u hanfon i wersylloedd gwaith am y pethau mwyaf cyffredin. Byddai unigolion yn adrodd ar eu ffrindiau a'u cymdogion oherwydd eu bod yn ofni y byddai'r NKVD yn dod ar eu cyfer pe na baent yn adrodd am weithgarwch amheus. Nid yw hyn yn annhebyg i ymddygiad Americanwyr a adroddoddeu cymdogion fel comiwnyddion a amheuir yn ystod y Rhyfel Oer. Yr NKVD a gyflawnodd waith grunt y mwyafrif o Purges Stalin; Roedd Nikolay Yezhov, pennaeth yr NKVD o 1936 i 1938, mor ddidostur yn y dadleoliadau a'r dienyddiadau torfol hyn nes i lawer o ddinasyddion gyfeirio at ei deyrnasiad fel y Terfysgaeth Fawr. Roeddent hefyd yn cynnal rhwydwaith cudd-wybodaeth mawr, yn sefydlu gormes ethnig a domestig, ac yn cyflawni herwgipio a llofruddiaethau gwleidyddol. Gan nad oedd gan yr NKVD gysylltiad uniongyrchol â'r blaid gomiwnyddol, defnyddiodd Stalin hwy fel ei rym para-filwrol personol ei hun, gan ddileu gwrthwynebwyr fel y gwelai'n dda.

Ar ôl marwolaeth Stalin ac yn ystod esgyniad Nikita Khrushchev i rym ym 1953, ataliwyd carthion yr NKVD. Hyd yn oed ar ôl dadfeiliad yr Undeb Sofietaidd, roedd ei etifeddiaeth yn atseinio o'r Gulag, y rhaglen a drefnodd y gwersylloedd gwaith, a Phrif Gyfarwyddiaeth Diogelwch y Wladwriaeth (GUGB), sef rhagflaenydd y KGB. Dinistriodd yr erchyllterau a ddioddefodd o dan Joseph Stalin y genedl gyfan ac mae atgofion o'i deyrnasiad yn dal i beri ofn yng nghalonnau llawer o Rwsiaid a fu'n byw drwyddi.