基洛夫是列宁格勒省委第一书记，中央西北局书记、政治局委员。1934年又兼任中央书记和组织局委员，同时还兼任苏联中央执行委员会主席团委员，他身兼数职，其地位仅次于斯大林。
基洛夫在党内是温和的，他认为应对闹饥荒的农村采取温和的政策，集体农庄不要追求大而全，尽快结束大规模的阶级斗争，改善党内外关系。
在党的十七大上，按照事先的安排当政治局委员走上主席台时，全场起立对每个政治局委员鼓掌两分钟，对斯大林鼓掌十分钟。但当基洛夫走向主席台时，全场热情的鼓掌，竟忘了事先的安排，特别是列宁格勒代表团，表现出了近乎狂热的激情。在选举中央委员时，基洛夫得的选票最高，只有3张反对票，斯大林的反对票292张，后来卡岗诺维奇命令将斯大林的反对票保留3张，其余的销毁，在向大会公布票数时，基洛夫和斯大林的票数相同。足可看出基洛夫的威望在党内是很高的。
在大会上，私下里一些代表和基洛夫谈话，提出有必要撤换斯大林总书记职务，让斯大林去任人民委员会主席或中央执委会主席，让基洛夫担任总书记职务。
1962年出版的《苏联共产党历史》也写道：“在党内正在形成的不正常现象使部分党员，特别是列宁时期的老干部十分忧虑。大会的许多代表，而首先是知道列宁遗嘱的那些代表认为，把斯大林调离总书记的岗位，让他担任其他工作的时候已经到了。”
十七大代表邵武勉写道：这时已形成了对斯大林的个人崇拜……斯大林践踏了集体领导原则，滥用自己的职权，个人崇拜引起的不正常现象在许多党员心中引起不安。后来人们才知道，代表大会的一些代表，首先是牢记列宁遗嘱的代表产生了一种想法，他们认为现在是解除斯大林总书记的职务，调他担任别的职务的时候了。这件事自然传到了斯大林的耳中，他十分清楚，列宁的老干部是他进一步巩固个人地位，集中更多独裁权力的最高障碍。
但是，基洛夫没有同意撤换斯大林的建议，也不同意自己被选为总书记，基洛夫把这些情况如实的告诉了斯大林。
十七大闭幕后，斯大林想让基洛夫到莫斯科任职，但基洛夫婉拒了这一建议，请求继续留在列宁格勒，斯大林也没有再坚持。
基洛夫回到列宁格勒后，继续脚踏实地做他的实际工作。
1934年12月1日，上午基洛夫在家里起草预定在下午6时召开的党员积极分子会议上的报告。下午4时30分，基洛夫乘车来到斯莫尔尼宫。他在很长的走廊里走着走着，不时和许多人打着招呼，交谈几句工作，随后他往右一拐，走进了一条窄窄的走廊，他的贴身卫士鲍士索夫平时紧跟着他，可这时却不知为什么离他很远。就在这时，列昂尼德·尼古拉耶夫窜了出来，对准基洛夫后脑勺一枪，基洛夫当即倒在血泊中，尼古拉耶夫被当场抓获。
基洛夫遇害后的两小时，斯大林、莫洛夫托夫、伏罗希洛夫、叶若夫、亚戈达及内务部的一些工作人员乘专车来到列宁格勒。斯大林在列宁格勒的火车站上，见到列宁格勒内务局长梅德韦季时，连手套都没有摘，就打了梅德韦季一记耳光，对前来迎接的人破口大骂。斯大林到列宁格勒后，亲自审问了尼古拉耶夫。他们还准备提审基洛夫的警卫员鲍利索夫。但在内务部人员押解他的途中，汽车撞到了墙上，鲍利索夫神秘地死了，车上的其他人都毫发无损。
尼古拉耶夫很快被枪毙了，列宁格勒内务局局长梅德韦季和副局长扎波罗茨很快也被调往远东工作，他们两人在1937年都被处决。凡是有可能了解一点内幕的人都先后死去。
赫鲁晓夫后来在苏共二十大作秘密报告时说：“……有理由怀疑，负责保卫基洛夫安全的人中，有人帮助了杀害基洛夫的凶手尼古拉耶夫。尼古拉耶夫在他行刺之前一个半月曾因行迹可疑而被捕，但被释放了……另一个情况也异常可疑：1934年12月2日，一个担任基洛夫贴身警卫的肃反工作人员在被带去接去审讯的途中因‘车祸’身亡，可是在这次车祸中，车上的其他人却个个安然无恙。在基洛夫遇害后，对内务人民委员部在列宁格勒的工作领导干部判得非常轻，但在1937年把他们都枪决了。可以推测，枪毙他们是为了掩盖谋害基洛夫的真正组织者留下的痕迹。”
显然，赫鲁晓夫推测此事是有预谋的，与内务人民委员会和斯大林有关。
基洛夫的被刺仅仅是一个开始，斯大林的政治“大清洗”开始了。
对于斯大林发动大清洗的动机，赫鲁晓夫在“秘密报告”中说：“斯大林相信，这对于保护工人阶级的利益，反对敌人的阴谋和帝国主义阵营的进攻是必要的，这是胜利的利益所在。我们说这些是一个轻率的暴君的需要……并以保卫革命战果的名义来做的事。全部悲剧就在于此！”
斯大林自己认为：德国法西斯随时可能发动侵略战争，应当对人民的公敌进行无情的打击，否则，一旦希特勒打进来，就会把托洛茨基的同伙扶植上台。
艾萨克·多依彻在《斯大林政治传记》中对斯大林的决定大清洗的动机作了如下分析：“斯大林真正的和更深远的动机，是摧毁那些可以另组政府的潜在人物，也许还不是另组一个政府的人物，而是另组几个政府的人物。”
基洛夫的遇害，为斯大林30年代的大规模镇压提供了借口。
基洛夫死了，凶手是尼古拉耶夫，但尼古拉耶夫的背后又是谁指使的呢？斯大林认为，尼古拉耶夫以前是季诺维也夫的支持者，此人肯定是一个“季诺维也夫分子”。他对叶若夫等人指示说：“要在季诺维也夫分子中间寻找凶手。”
这是政治上的需要，需要尼古拉耶夫的指使者必须是托洛茨基、季诺维也夫等人。
起初，在审讯中，尼古拉耶夫坚决否认是受季诺维也夫反对派指使干的，甚至还明确说是内务部的人迫使他干的。于是，内务部工作人员对他采取了严厉的体罚，把他弄得疲惫不堪，负责审判的原苏联最高法院军事委员会主席乌尔里希对尼古拉耶夫说：只要他招认谋害基洛夫是受列宁格勒一个恐怖中心指使，就可免他一死。尼古拉耶夫不得已只好供认：是的，在列宁格勒有一个恐怖中心，他们曾委托我来进行政治杀害活动的。是的，中心的领导人后来曾准备要杀害斯大林、莫洛托夫、伏罗希洛夫、卡冈诺维奇。
根据斯大林的指示和尼古拉耶夫的供词，苏联政府确认在列宁格勒和莫斯科均存在一个总部。这两个总部的成员是托洛茨基——季诺维也夫反对派成员，是他们策划了谋害基洛夫的行动。
这样，真正杀害基洛夫的指使者没事了。
1934年12月16日，季诺维也夫、加米涅夫同时被捕，在随后进行的审讯上，季诺维也夫、加米涅夫都严正地驳斥了对他们的指控，法庭因为证据不足，宣判季诺维也夫10年监禁，加米涅夫5年。事情当然不能这样完结，于是又组织新的行动。
按照什划，内务部很快逮捕了3个人。一个是瓦连京·奥利别尔格，他是内务部的工作人员，内务部要他按照“工作要求”假装成阴谋活动的参加者，并把季诺维也夫、加米涅夫冒充作自己的的领导，他必须提供证词，帮助党和政府来消灭季诺维也夫等人。
奥利别尔格事先得到保证，不管法庭将对他作出什么样的判决，他都被释放，然后派他到远东去担任一个什么要职。因此，奥利别尔格放心大胆地在事先准备好的审讯笔录上签了字。
另一个是赖因霍尔德，他是苏联棉纺工业总管理局局长。与加米涅夫有私交。还有哈德·皮克尔，他曾经领导过季诺维也夫的秘书处。
赖因霍尔德是个难以制服的人。他被捕后，侦查人员要他承认：加米涅夫曾经吸收他加入恐怖组织，加米涅夫和季诺维也夫是反对苏联政府的阴谋组织者和领导人。并对他说，只有他揭露了这两人，他才能够保住自己的一条命，但赖因霍尔德坚决否认自己参加过任何阴谋组织。
内务部对他进行了各种手段，包括连续审讯48小时，不准吃饭，不准睡觉，逮捕他的妻子和孩子。最后，赖因霍尔德提出一个条件，他可以签字，但必须得由中央的代表向他宣布：党认为他没有犯任何罪，但党的利益却要求他非作出这样的供认不可。最后，中央书记叶若夫亲自出马以中央名字向他宣布：只有帮助内务部来揭露季诺维也夫和加米涅夫，才能证明自己无罪和对党的忠诚。于是，赖因霍尔德不得已只好在一份事先准备好的供状上签字。这份供状说，他是托洛茨基、季诺维也夫组织的一个成员，他曾准备杀害斯大林，活动是在季诺维也夫、加米涅夫亲自领导下进行的。还证实说，杀害基洛夫是季、加两人一起策划的，以后还要暗杀斯大林。
另一个皮克尔也被采取同样的欺骗手段，说这是党的需要，只要签字，没你的事，皮克尔也照办了。
这样，一切都准备好了，季诺维也夫、加米涅夫大案重新审理。
季诺维也夫、加米涅夫仍然不屈服，他们对加米涅夫进行了毒打和引诱。
斯大林听说他们不屈服，给侦讯员下达了指示。“告诉他们，不管他们怎么做，他们也阻止不住历史的进程。他们的出路只有一条，要么死去，要么挽救自己一条命。给我狠狠地整，直到他们用嘴噙着供状，爬到你们跟前为止。”
对付不屈的季诺维也夫的很别致，他们往季诺维也夫的牢房里集中供暖。当时正是盛夏，不供热牢里已热得透不过气来，季诺维也夫正患气喘病，酷热折磨使他难受到了极点。他被折磨得实在受不了，于是便请求和加米涅夫单独谈一谈。请求批准后，他们两人在一起谈了将近1个小时，季诺维也夫劝加米涅夫一起去出席法庭，但条件是斯大林必须当着全体政治局委员的面保证不杀他们。
斯大林听说季诺维也夫、加米涅夫准备投降后，很高兴。他决定把他们召到自己办公室来，和他们当面谈一谈。
在斯大林的办公室，斯大林向他们保证：法庭审判并不是反对他们的，而是反对党的死敌托洛茨基的。我们都是列宁的学生和追随者，因此不管你们对党犯下了多么重大的罪过，我们都不想杀害你们。
1936年8月19日～24日，原苏联最高法院军事法庭对季诺维也夫、加米涅夫、奥利别尔格、赖因霍尔德、皮克尔等16人进行公开审判。审判在工会大厦的圆柱大厅举行，这是大清洗运动中第一次公开审判。被告不允许有辩护律师。法庭调查中，被告几乎千篇一律地供认了“杀害基洛夫和准备杀害斯大林及其亲密战友的罪行”。
24日，法庭宣布，所控16名被告全部处以死刑。8月25日早晨，这16名被告全部被枪毙了。
在对16人审讯过程中，有人揭发了布哈林、李可夫和托姆斯基。总检查长维辛斯基宣布了对他们进行调查的命令，几天后，托姆斯基自杀。
对布哈林、李可夫等人的调查最初似乎遇到了阻力。1936年9月10日，当时负责调查工作的亚戈达宣布因为没有发现任何罪证而结束对布哈林、李可夫的调查。
正在黑海边度假的斯大林显然对亚戈达的工作不满意，他给卡冈诺维奇、莫洛托夫和其他政治局委员发了一份电报，电文说：“我们认为绝对有必要立即任命叶若夫为内务人民委员。亚戈达显然不能胜任揭露托洛茨基——季诺维也夫集团的任务，国家政治保卫总局在这个问题上落后了四年。”第二年，叶若夫取代亚戈达担任内务人民委员。
叶若夫上台后，“大清洗”的步伐明显加快。
1937年1月23日，在莫斯科开始了第二次大审讯。皮达可夫、拉狄克、索柯里尼柯夫等17人被告被说成是反苏托洛茨基中心的领导人。他们被指控勾结德国和日本政府阴谋推翻苏维埃政权。他们的幕后指挥者是托洛茨基。这个审判案同第一次一样，是经过精心策划的，检察长维辛斯基操纵着审判过程。一个目睹公审现场的人写道：“所有被告好像都争相往自己的头上堆加罪名——‘是我的莫大罪过’。几乎用不着让他们同原告对质。”皮达可夫甚至绘声绘色地描述了他同托洛茨基在奥斯陆（被告从未到过那里）的会面……
所有的人都被判为有罪，13人被枪决，4人被判处10年徒刑。
叶若夫在12月的全会上，攻击布哈林和李可夫，指挥他们同反革命分子托洛茨基有联系，他们有“地下组织”，并正在进行阴谋活动。当莫洛托夫在会上继续对布哈林进行指控的时候，布哈林喊道：“我不是季诺维也夫，也不是加米涅夫！我是不会诬陷自己的。”
全会最后是斯大林讲话，他说：“……我们要继续侦察。”
在审理“托洛茨基平行中心案”中，拉狄克、皮达可夫等人又给布哈林、李可夫等人捏造了一大堆莫须有的罪名。
布哈林接连给斯大林写了几封信，为自己无罪进行辩护，在这期间，布哈林等人还不断被叫去与拉狄克、皮达可夫等人对质。同拉狄克对质后，斯大林问布哈林，怎么解释大家对你提出的指证，布哈林回答说；“这一点您能解释得比我好。”
1937年1月7日，作为主编的布哈林的名字已从《消息报》消失了。
2月，布哈林年轻的妻子拉林娜上街路遇见奥尔忠尼启则，两人邂逅相遇不知说什么好，最后还是奥尔忠尼启则先开了口：“要坚强一些！”说完转身钻进汽车走了。拉林娜回到家后。把这事告诉了丈夫。布哈林决定给老朋友写封信，信的结尾写道：“我开始担心，我一旦被捕会落到拉狄克、索柯里尼柯夫、穆拉洛夫的地步。别了，亲爱的谢尔戈，我的所有打算都是真诚的。无论以后命运如何，我都是清白的。”他请求奥尔忠尼启则，如果他被捕的话帮助照顾他全家。但信还未发出，奥尔忠尼启则就于2月18日自杀了。布哈林得知奥尔忠尼启则自杀的消息后悲痛地说：“现在再没有人可以指望了。”
中央全会2月23日举行，预定的日程是：布哈林和李可夫问题，组织问题。中央通知布哈林参加全会，但布哈林决定不去参加。在给中央的声明信中，指出对他所有的指控都是诽谤，并宣布“从明天开始我将完全绝食，直至撤消对我的所谓背叛、暗害行为，恐怖活动的指控为止。”布哈林从2月20日起真的开始绝食。
鉴于布哈林绝食，全会又增加了一个内容：关于布哈林向全会宣布绝食的反党行为问题。由于有这项议程，布哈林决定出席会议，但不停止绝食，进入衣帽间时，李可夫也在，他对布哈林说：“最有远见的还是托姆斯基。”进入会议厅时，布哈林因绝食晕倒在地，斯大林走过来说：“你向谁绝食，尼古拉，向党中央吗？瞧，你像谁了，虚弱不堪。为自己的绝食向全会道歉吧！”
布哈林回答说：“既然你们打算把我开除出党，这又有什么用呢？”“谁也不想把你开除出党。走吧，走吧，为不良行为请求全会原谅吧。”布哈林相信了斯大林的话，向全会道了歉，并宣布停止绝食，指望全会对他有个公道的说法。他的希望马上就落空了。在全会上，叶若夫在他的报告中对布哈林和李可夫提出三点指控：一、欺骗党，成立地下秘密组织；二、坚持在苏联复辟资本主义的纲领；三、在同苏联所有敌人结盟后，转而采取恐怖手段，策划武装暴动，进行各种破坏。布哈林和李可夫对种种诬告都依据事实予以驳斥，坚决否认对他们的指控。
为了最终处理布哈林和李可夫一案问题，全会决定成立一个以米高扬任主席的委员会，起草关于这个问题的决议案，成员有斯大林、莫洛托夫、卡冈诺维奇、伏罗希洛夫、叶若夫、克鲁普斯卡娅、赫鲁晓夫等人。
当天晚上，委员会开会，在会上对布哈林、李可夫一案的处理出现了4种意见。会议最后按斯大林的建议通过决议：1、撤销布哈林和李可夫中央候补委员资格，开除出党，不把他们送交法庭审判，而把布哈林和李可夫案件送交内务人民委员部；2、委托由斯大林、米高扬、叶若夫等同志组成的委员会根据决议起草一份说明理由的决议案。一切准备就绪后，第二天早晨，斯大林的秘书给布哈林打电话，让布哈林和李可夫必须参加27日的全会会议。
布哈林知道自己与妻子诀别的时候到了，他让拉林娜逐字逐句的背下《致年轻一代党的领导人信》。分别时，布哈林吻了吻妻子，用颤抖的声音说道：“看看，安姆特卡，不要生气，历史经常有令人懊丧的错误，但真理一定胜利。”
布哈林和李可夫出席全会。在这次会议上，他们被开除出中央委员会和党籍，并于当天被捕，并直接送到监狱。
布哈林和李可夫被关进监狱后，内务部对他们的侦查进行了一年多。在不断的折磨和逼供面前，为了表示自己忠于社会主义和苏维埃政权，他们最终接受了强加在他们身上的种种指控。
布哈林在狱中给斯大林写了封“绝密，亲收”的信。布哈林在信中并没有打算请求斯大林宽恕，此时他已准备去死，他只是向斯大林表白，“绝对没有犯在侦查时曾承认犯的罪行”。
布哈林认真思索自己的遭遇时，似乎找到了它产生的原因。他在信中对斯大林说：“第一，由于战争即将来临；第二，需要向民主过渡，因此有了大清洗这样一种宏大的，大胆的政治构想。”布哈林不愧为一位伟大的政治家，他猜到了斯大林“大清洗”的真正目的。
在开庭前夕，布哈林给妻子写了一封绝笔信，嘱咐“不管你读到，听到多么可怕的东西，不管对我说了些什么，也不管我说了些什么，你都要勇敢地、平静地对待这一切，让全家做好准备……决不要生气，要记住，苏联的伟大事业仍然存在，而这是主要的，同它相比，个人的命运则是过眼烟云，微不足道的。”
1938年3月2日～13日，苏联最高法院军事法庭对“右派和托派反苏联盟”案进行公开审理，被告共21人，除布哈林和李可夫，前内务部长亚戈达也一同受审。
经11天审讯，法庭宣布判处布哈林、李可夫、亚戈达等18人死刑，其余3人被判处15～25年长期监禁。
1936年底，红军情报总局局长乌里茨基向斯大林报告说，柏林盛传着一种谣言，说是在将军们中间存在着反对苏联领导的派别。
叶若夫送来一份罗沃斯材料的报告，那些材料是从巴黎弄到的，讲到“苏联有一批高级指挥员正准备发动政变”，为首的是副国防人民委员，红军参谋长，图哈切夫斯基元帅。
捷克斯洛伐克的贝奈斯传来的消息加重了斯大林对图哈切夫斯基的怀疑，贝奈斯提供的文件表明，图哈切夫斯基跟德国军界建立了秘密联系，以求通过暴力推翻斯大林。据认为，参加这一密谋的还有列宁格勒军区司令员亚基尔，西部军区司令员乌博列维奇、伏龙芝军事学院院长科尔克、布琼尼骑兵部队的副手普里马科夫、军队总政治委员加马尔尼克等。
1937年5月24日，斯大林给中央委员和中央候补委员发了一份供表决的文件，文件写道：
根据联共（布）中央委员鲁祖塔克和联共中央候补委员图哈切夫斯基参与托洛茨基——右倾分子反苏阴谋集团和参与替法西斯德国效劳的反苏间谍活动的揭发材料，联共中央政治局提请就开除鲁祖塔克和图哈切夫斯基党籍并将他们的案件移交内务人民委员部审理的建议进行表决。
5月20日，图哈切夫斯基被解除副军事人民委员的职务，被派往伏尔加军区，他于25日到任，第二天被捕。
6月11日，举行了秘密审判，图哈切夫斯基和其他7名高级将领被控犯了“间谍和叛国”罪，被执行枪决。
图哈切夫斯基被处决是军队大清洗的开始。在1937～1938年的大清洗中，共有3.5万人成了牺牲品，其中高级指挥员受害最深。他们包括：5名元帅中的3名，15名集团军司令中的13名，83名军长级干部中的57名，196名师长级中的110名，406名旅长中的220名，所有11名副军事人民委员，以及最高军事委员会85名中的75名，上校级以下的军官3万名被清洗。
大清洗使军队遭受了重大损失，同时也完成了斯大林在战争来临前所要做的政治准备。
