4月，王明“左”倾冒险主义统治的党中央派出代表团到达中央苏区，并参加中央局的领导工作。这样一来，中央苏区领导层产生了分歧，使第一次反“围剿”中行之有效的战略战术受到干扰。对第二次反“围剿”的战略方针问题，党中央曾指示：“当着敌人力量尚未集中的时候，我们必须利用优势兵力，去击溃敌人的主力。”“红军总司令部在组织决战中，采取诱敌深入苏区的策略，在当时的阶段中（年底及年初)是正确的。如果力量对比上利于我们时，我们应该扩展向白区的坚决进攻，打碎敌人的生力军。”同时还提出：“遇必要时，可以抛弃旧的与组织新的苏维埃区域。”
3月中旬至4月中旬，在苏区中央局第一次扩大会议上，又提出分兵退敌的方针。对反攻时先打哪路敌人问题，有的主张先打敌蔡廷锴部，也有的主张打朱绍良部。经过反复讨论，接受了毛泽东的正确主张，仍然采取诱敌深入的战略方针，并根据对敌情的分析，决定采取由西向东横扫，先打弱敌、各个击破的作战方针。
从5月16日至31日，红一方面横扫700余里，连打5个胜仗，歼敌3万余人，缴枪2万余支，痛快淋漓地打破了敌人的第二次“围剿”。
红军粉碎敌人“围剿”后，乘胜转入进攻，分兵发动群众，打土豪分田地，筹粮筹款，解放了赣东，闽西的黎川、南丰、建宁、泰宁、宁化、长汀等广大地区，进一步巩固和扩大了中央根据地。
在一次攻打敌人的山头阵地时，红军几次冲锋均未攻上去，战斗减员较重。
营长命令刘辉山率一班再次冲锋，一定要攻下敌人的阵地。刘辉山仔细观察地形及敌军的薄弱之处，趁敌人射击喘息之机，率全班猛冲到达山头，后续部队随即赶到全歼守敌，全班无一伤亡。
在第二次反“围剿”期间，时任红四军军部特务营政治委员的萧华找刘辉山谈话。他说：共产党是工人阶级的党，是工人阶级的先锋队；共产党是为无产阶级办事情的，是要推翻封建反动势力，改造旧社会；共产党的目的是建立人人平等的美好幸福的新中国。作为一名红军战士，就应该加入共产党，为解放劳苦大众而奋斗。
1931年4月，在江西永丰县南龙镇龙子下村，刘辉山经连长陈世全介绍，加入了中国共产党。
1931年5月，蒋介石在对中央苏区的第二次“围剿”失败后，很快又于6月组织更大规模的“围剿”。他将其嫡系部队第十四、第十一、第六、第九、第十师，共10万人调到江西省，连同原在中央苏区周围的和新调来的非嫡系部队，总兵力达23个师又3个旅共30万人，蒋介石亲任“围剿”军总司令，何应钦为前线总司令，并聘请了英、日、德等国的军事顾问随军参与策划。这次“围剿”，蒋介石采取“长驱直入”的方针，企图首先消灭红军主力，摧毁苏区，然后再深入进行“清剿”。
中央苏区第二次反“围剿”胜利后，红军第一方面军3万余人在闽西北、闽西、闽赣边和赣南等地区开展群众工作，进行反“围剿”准备。
6月底，红一方面军在临时总前敌委员会书记毛泽东和方面军总司令朱德的指挥下，判明国民党军即将发动第三次“围剿”的企图，决定继续采取诱敌深入的方针，待敌深入苏区中心区，再集中兵力实行反攻，以打破“围剿”。随后，独立第四、第五师和红三军第九师在吉安、吉水、永丰、乐安、宜黄以南地区，红四军第十二师在南丰以南和东南地区，协同当地地方武装和赤卫军、少先队，以运动防御和游击战迟滞敌军前进；红一方面军主力红三军团、第四军主力、第十二军在临时总前委书记毛泽东、总司令朱德指挥下，采取“避敌主力，打其虚弱”的方针，调动敌人，择其好打者打之；于运动中予以各个歼灭的灵活机动的战略战术，依靠苏区地方武装、赤卫军、少先队，不断地阻击、袭扰向苏区进攻的国民党军。苏区人民群众则实行坚壁清野，使深入苏区的国民党军饥疲交困，锐气大减，从而有力地掩护了红一方面军主力回师集中，并为转入反攻作战创造了条件。红一方面军则往返穿插于国民党军重兵集团之间，疲惫敌军，避强击弱，速战速决，以少胜多，共歼敌17个团3万余人，缴枪1.5万余支、机枪175挺、迫击炮55门、电台6部，取得了重大胜利，打破国民党军队的第三次“围剿”，中央苏区也得到了巩固和发展。经过第一、第二、第三次反“围剿”的胜利，红军积累了丰富的经验，红军的作战原则已基本形成。
刘辉山在这一次反“围剿”打宜黄的战斗中负伤，子弹打中他的肩胛骨。这颗子弹一直伴随他四十多年，直到1978年严重危害到刘辉山健康时才被取出。
1931年11月6日，中央苏区第一届党代会在江西瑞金召开，毛泽东被选为中共苏区中央局书记。7日，在叶坪召开了第一次全国工农兵代表大会。刘辉山光荣当选红四军特务营的代表，到红色首都瑞金去参加庆祝第一次全国工农代表大会的闭幕仪式，欢庆中央工农民主政府的诞生。
刘辉山在《星火燎原》丛书中发表了《欢庆红色中央政权的诞生》一文，回忆了划时代的这一天：这是多么令人兴奋的事啊！多少年来，政权一直掌握在地主资产阶级手里，我们工人农民被人踩在脚下，而现在，我们就要有自己的中央政权了，工人农民就要当家做主了。想到过去的苦难日子，想到今天革命形势的发展，想到今后日益美好的远景，我的心头像波涛一样汹涌奔腾。
在松岗子尽头，坐东南朝西北的主席台口的两旁，装饰着翠绿的松柏树枝，中间还嵌着许多大红花；台口的上沿有醒目的庆祝工农代表大会闭幕的字样；台上正中高挂一面有镰刀、斧头的大红旗。一群捧着鲜花的儿童团的孩子们，面对台口在歌唱；一个小女孩舞动小手在指挥，头发上的大红蝴蝶结，被风吹得一飞一飞的。
下午三点钟，会议主席宣布开会。在热烈的掌声和欢呼声中，毛主席讲话了。他告诉我们：红旗不倒就是我们的胜利，敌人的破产、红军的发展，是保证红色政权存在的必要条件。现在建立了红色政权，将来还要巩固和扩大，以促进全国革命高潮的到来。
这是个幸福的时刻。我紧抱着怀里的枪，仰着脸，目不转睛地望着毛主席那魁伟的身躯和那温厚、纯朴的脸，听着他那平静而充满自信的声音，我觉得浑身都充满力量。就是他创造和教养了我们红军，并指挥红军以少胜多，以弱胜强，粉碎了蒋介石一次又一次的“围剿”，消灭了大量敌军，从而建立、巩固和扩大了红色根据地，建立了自己的政权。就是他，将领导着我们获得更大的胜利。我们都记下了他的话，并以雷样的掌声表示对自己领袖的热爱。
游行开始了。我们红军战士们穿着灰色军衣，领口缀上黑边红底的领章，胸前佩戴椭圆形红色的“中国工农红军”的符号，戴着八角帽，手持带有明晃晃刺刀的步枪，排成六个方队，整齐、雄壮、精神抖擞，以刚健的步伐走在浩浩荡荡的游行队伍的最前列。当通过主席台时，毛主席亲切地向我们频频招手，全场群众也热情地向我们欢呼。这是领袖和人民给予我们的荣誉和奖赏。我们把手臂甩得更直，步伐也更加整齐和有力。我们要用行动证明：我们不仅能消灭敌人，开辟革命根据地，而且还能继续粉碎敌人的“围剿”，保卫新政权。
在回队的路上，我不时回过头，望着那个被薄雾笼罩着的山头，想着昨天大会上毛主席的讲话和狂欢的会场情景，不由得心中万分激动：红色政权呵，我一定终生为你战斗！
1931年12月，刘辉山由红四军军直特务营第一连三排调红一军团直属工兵连任二排排长。1932年12月，刘辉山调红一军团政治部政卫连任副连长。
从1932年冬开始，国民党赣粤闽边区“剿匪”总司令部陆续调集近40万兵力，组织对中央苏区的第四次“围剿”。
1933年1月底，蒋介石到南昌亲自兼任赣粤闽边区“剿匪”军总司令，指挥这次“围剿”，决定采取分进合击的方针，企图将红一方面军主力歼灭于黎川、建宁地区。
2月上旬，红一方面军总兵力约有7万人，在总司令朱德、总政治委员周恩来的正确指挥下，既运用了第一、二、三次反“围剿”战争的经验，又结合国民党军队进攻时采取新战略的实际情况，依据中央苏区多丘陵大山的特点，采取大兵团山地伏击战的方法，在黄陂、草台岗两次战斗中，一举歼灭蒋介石的嫡系部队近三个师，俘师长李明、陈时骥，击伤师长萧乾，俘虏官兵万余人，缴枪1万余支，并缴获大量枪械、子弹、电台等军用物资，首创了大兵团山地伏击战的范例。蒋介石的嫡系部队遭受如此沉重的打击，这在以往各次战役中是不曾有过的。朱德总司令说：“陈诚几年间所依靠的部队整个打垮了。四次‘围剿’也算告结束了。”蒋介石在给陈诚的“手谕”中说：“此次挫败，凄惨异常，实有生以来唯一之隐疼。”
1933年5月，红一军团政卫连在藤田整编，刘辉山由政卫连调红一军团司令部任警卫排长。军团司令是林彪，政治委员是聂荣臻。
1934年1月22日至2月1日在江西瑞金沙洲坝召开第二次苏维埃大会，出席大会的正式代表693人，候补代表83人。毛泽东在会上作了中华苏维埃共和国中央执行委员会对第二次全国苏维埃代表大会的报告，朱德和林伯渠先后作了有关红军建设和经济建设的报告。大会还通过了关于国徽、国旗、军旗的决定，以及修正的宪法大纲等重要决议案。大会上选举了毛泽东、陈绍禹（王明）、张闻天等175人为中华苏维埃共和国第二届中央执行委员，罗荣桓等36人为候补执行委员，董必武等35人为中央工农检查委员会委员。2月3日，第二届中央执行委员会举行第一次会议，选举毛泽东等17人组成中央执行委员会主席团，毛泽东为主席，项英、张国焘为副主席；选举张闻天为人民委员会主席，朱德为中央革命军事委员会主席，周恩来、王稼祥为副主席。
古远兴和其他同志一起，被临时抽调去搞代表大会的警卫和招待工作，也就是在这期间他认识了张耀祠。这里的任务完成后，古远兴又回到通信排工作。这时，组织上准备要他当通信班的班长。
古远兴讲述了这段有趣的经历：
我那时参加红军有一年多啦，交给我的任务都完成得很好，领导都很满意，在杨尚昆同志那里的工作也让我学到了很多东西。一天肖秘书长把我叫去说：“准备要你当通信班班长。”
我就问他：“我哥哥呢？”
肖秘书长不解地问道：“你哥哥怎么啦？”
我说：“我当班长，我哥哥当什么？”
肖秘书长说：“你哥哥还是当战士呀。”
一听要我当班长，远浩还是当战士，那可不行，我就对他讲：“这个班长我不当。”
肖秘书长问：“为什么？”
旁边的一个首长就对他讲：“你还没有看出来吗，这个小鬼仗义呀，你让他当班长，哥哥当战士，这个班长他是不能当的哟。”
肖秘书长说：“那好，你当一班班长，你哥哥当二班班长怎么样呀？”
肖秘书长的话刚一说完，我就高兴地答应：“这样行，这个班长我当。”
旁边的另一位首长故意逗我说：“你可要考虑好了，一可比二大呦。”
我说：“只要两个人都是班长就行。”
“那以后你就是老大哥，他就是老二哥啦。”逗我的那位首长话音刚一落，其他首长就大笑了起来。从此后总政治部的首长就叫我“老大哥”，叫远浩“老二哥”。解放后那些知道这件事情的红军总政治部的首长，见到我还是开玩笑叫着“老大哥”。
中央红军在取得四次反“围剿”胜利后，中央苏区范围扩大到30多个县；政权建设和经济建设都取得很大成绩，主力红军扩大到约10万人，地方部队和群众武装亦有很大发展。
1933年9月至1934年10月，蒋介石调集100万兵力，其中，直接用于进攻中央苏区的兵力达50万人。蒋介石命令“围剿”军构筑绵密的碉堡封锁线，稳扎稳打，逐步推进，对江西省南部、福建省西部的中央苏区，进行大规模第五次“围剿”。
而此时，毛泽东已被排斥在中央领导之外，面对国民党军队采取堡垒主义新战略和重兵进攻，中共临时中央领导人博古（秦邦宪)等却错误地认为，这次反“围剿”战争是争取中国革命完全胜利的阶级决战。在军事战略上，拒绝和排斥红军历次反“围剿”的正确战略方针和作战原则，实行“左”倾冒险主义的战略，提出“御敌于国门之外”的方针，企图以阵地战、正规战在苏区外制敌，保守苏区每一寸土地。这时，共产国际派来的军事顾问德国共产党员李德从上海到达中央苏区，直接掌握第五次反“围剿”的军事指挥权。因而，在国民党军“围剿”前夕，当时的中央领导未及时有效地组织苏区军民进行反“围剿”准备，红一方面军主力在持续作战而未得到休整和补充的情况下，即于9月下旬仓促开赴中央苏区北线迎击国民党的“围剿”。
