先后策划七十多次“兵变”，屡战屡败，屡败屡战，几度被捕又几度死里逃生，深入南梁实地考察为武装割据寻找根据地；再次打入军阀部队，“兵变”在即又遭不测，居然是杨虎城下的命令要枪毙他；获救后上横山创建南梁根据地人强马壮，三路红军合编成“西北反帝同盟军”，打土豪满载而归红红火火过大年。
刘志丹来是清官，
他带队伍上了横山，
一心要共产……
这首民歌，唱的是刘志丹在陕甘边桥山一带，建立南梁革命根据地，领导群众闹革命的故事。歌词中的“横山”，就是横亘在陕甘两省边界子午岭的桥山山脉，当时的老百姓都把桥山叫做“横山”。
1928年轰轰烈烈的渭华起义失败后，刘志丹先后策动兵运七十多次，屡战屡败，屡败屡战，几度被捕，又几度死里逃生。刘志丹觉得，如果再这样下去，革命是不会成功的。他认为，陕北也应该要像南方的井冈山那样，搞武装割据，建立自己的革命根据地。
1930年10月，刘志丹和谢子长到绥德合龙山参加中共陕北特委召开的扩大会议，研究如何在陕北开展武装斗争的问题。会议决定继续进行兵运工作，条件成熟时举行起义，建立独立的革命武装。当时按照李立三“左”倾错误路线的要求，成立了“陕北总暴动行动委员会”，由赵伯平任书记，谢子长、刘志丹分任行动委员会正、副总指挥。但是，由于立三“左”倾错误很快就被纠正，在实际工作中，这次会议制订的暴动计划并没有贯彻执行。会议期间，特委曾提议由刘志丹继续担任军委书记，留在机关工作，但刘志丹以基层武装斗争更重要为理由，请求仍然回陕甘边从事兵运工作。特委同意了他的请求，另由北方局派孔祥桢担任军委书记。
中共陕北特委合龙山扩大会议后，刘志丹又回到了保安县，向党组织传达了特委会议精神，研究了扩大革命武装的计划。这年秋天，刘志丹做的一件大事，就是和马锡五等人来到南梁进行实地考察，为建立革命根据地做准备。
南梁位于陕甘交界的甘肃省庆阳华池县。那里横亘着子午岭桥山山脉，当地的老百姓都把桥山叫做“横山”。这一带都是深山老林，人烟稀少。刘志丹等人到了南梁之后，就翻山越岭，走村串户，夜宿破窑洞，日钻老梢林，深入考察这里的经济、政治和群众的生活状况。他们钻梢林，爬高山，食野果，饮山泉，踏遍了南梁数百里梢山，研究南梁的地理环境。从平定川、瓦子川到柳沟，从麻地台川、井岔沟、荔园堡到南梁堡、东华池……刘志丹走村串户，访贫问苦，基本上走遍了南梁地区的每一座大山，每一个村庄。他要为自己的革命武装、为将来的游击队找一块理想的根据地。
刘志丹在南梁一带的考察工作非常深入细致，无论走到哪儿，都和农民群众打成一片，就像一家人一样。他不停地向当地群众了解周围的地形，了解哪个山上有几个村庄，每一个村子里头有多少人，有多少条炕，能住多少人。通过一个多月的考察，刘志丹把南梁这一带的情况都了解得一清二楚了。所以后来到南梁打游击，游击队的同志们都叫他“活地图”。
当地的贫苦农民见到了刘志丹等人，就像见到了久别的亲人一样，对他们的工作也大力支持。南梁平定川有个老杨村，只有几户人家，家家都很穷。有一个老婆婆和她儿媳妇为了招待刘志丹等人，就瞒着他们，连夜摸黑上山，拔回了尚未成熟的荞麦，揉下还没有完全成熟的荞麦籽，又连夜用锅炒干，用擀面杖碾碎，再用细箩筛过，为刘志丹做了顿他最爱吃的荞麦面条。
刘志丹事后得知详情，内心非常感谢，但又深表歉意。可是那位朴实的山区老大娘却真诚地对刘志丹说：“只要闹红成了事，把心摘下来也舍得。”这件事后来在陕甘宁边区传为佳话。
经过一个多月脚踏实地的详细考察，刘志丹得出了一个结论：南梁非常适合建立革命根据地。因为南梁地处陕甘两省交界处，是个“一脚踏三县”的三不管地带，也是敌人统治最薄弱的环节。加上这里四面环山，而且都是崇山峻岭，树林子也很茂密，还有水，地势险要，易守难攻，有利于开展游击战争。此外，南梁那个地方人烟稀少，容易隐蔽。当地百姓深受压迫剥削，有着极其强烈的土地要求和革命愿望，所以在那儿建立根据地是最好的。刘志丹终于看中了南梁这块风水宝地，并坚定了在南梁一带建立革命根据地的决心。
有了建立革命根据地的决心，还得要有自己的工农武装，要有自己的革命队伍。为了发展工农革命武装，刘志丹又继续着他的“兵运”工作。
1931年1月，刘志丹率领他的部队进驻瓦子川。2月，刘志丹带着队伍进驻合水固城川，与赵连璧、同守孝、贾生财等农民武装会合后，组成了一支新的游击队。因为刘志丹“太白夺枪”的故事在陕甘边地区广为流传，老百姓都知道了刘志丹的部队，知道他的队伍是为百姓做事的，而刘志丹也就像传说中劫富济贫的大侠，得到了老百姓的支持。很快，这支游击队就扩大到四百多人，并在固城川麻峪村进行整编，刘志丹任总指挥。
刘志丹的这支游击队马上引起了陇东军阀陈国璋部谢绍安旅的注意。于是，在一个月以后，刘志丹率领部队经过宁县盘克原时，就遭到了谢绍安旅骑兵的袭击，损失惨重。刘志丹率部分党员和骨干突出重围，来到子午岭山区，后又转到中部（今黄陵）小石崖休整。
这时，高岗正好带着陕西省委的密信来到了职田镇。高岗把密信藏在一本书里，一路上历尽千辛万苦，才把省委的这封密信安全地交到了刘志丹的手里。在这封密信里，刘志丹被陕西省委任命为中共陕北特委宣传委员，省委同时指示刘志丹要想办法再次打入苏雨生部，扩大军事实力。
1931年3月，军阀苏雨生又邀请刘志丹到他的部队去带兵。苏雨生知道刘志丹是黄埔的毕业生，能领导军队，在陕北又很有号召力，就邀请他到自己的部队担任补充团团长。刘志丹和谢子长再次打入苏雨生部后，就在苏部担任补充团团长，带着部队驻扎在旬邑的一个叫职田镇的地方。刘志丹利用苏雨生的信任，和谢子长在苏部发展革命武装力量，等待时机准备发动兵变。可是没过多久，一场意外的变故，却让这次兵变计划流产了。
1931年夏，苏雨生获悉他的补充团有共产党在活动，就借职田镇土豪刘日新因拒绝向补充团交粮而自杀的事件，以商议军机为名，将刘志丹召到彬县，然后把他抓了起来，关押在彬县，并且将补充团缴了械，还要以“叛乱罪”判处刘志丹死刑。这一变故，立即引起了陕西省委的重视。
其实，这次变故是苏雨生的一个阴谋。因为当时那个补充团虽然是苏雨生的部下，可是苏雨生并不给他们发粮饷，要吃饭就只有找当地土豪去要粮食。当地有个大地主叫刘日新，家里有钱又有粮，补充团就决定让他出点粮食。当时就派了补充团下面一个营长，去找刘日新筹钱筹粮，哪知刘日新是个要钱不要命的家伙，好说歹说就是一毛不拔。那个营长一气之下，就让手下把刘日新吊起来打了一顿。后来，刘日新还是给放回去了，但他觉得丢了面子，感到自己受了天大的羞辱，一时想不开就自尽了。
刘日新一自杀，事情可就闹大了。原来，刘日新媳妇的娘家人跟西北军司令杨虎城是亲戚关系。过了两天，西北军司令杨虎城就给苏雨生来了密令，让他逮捕刘志丹，这样，苏雨生就把刘志丹给抓起来了，要以“叛乱罪”判处他死刑。这一下刘志丹的麻烦就大了。当时高岗和刘志丹的弟弟刘景范，都到彬县监狱去看望刘志丹，都认为刘志丹这一次必死无疑。
这是刘志丹生平第一次坐牢。他虽然被手锁脚镣身陷囹圄，仍然不忘党的事业。他要那些来看望自己的同志回去后，一定要转告其他的同志，不要担心自己的生命安全，要继续努力工作。他已经把自己的生死置之度外了。
这时，党组织非常关心刘志丹同志的安危。他被捕后，陕西省委就多方想办法积极营救。当时，中共陕西省委就派人找到了刘志丹在榆林中学读书时的校长杜斌丞想办法。因为杜斌丞当时已经是国民党陕西省政府的参议员，党组织请他出面营救刘志丹；同时，党组织又找到了时任陕西省国民党政府秘书长的南汉宸，要他出面营救。南汉宸是中共党员，同杨虎城的私交也不错。最后，在杜斌丞和南汉宸等人的斡旋下，杨虎城才不得不下令释放了刘志丹。
刘志丹出狱后，陕西省委又指示他利用地方军阀之间的矛盾，继续从事他的兵运工作。兵运工作虽然危机四伏，但刘志丹还是想出各种办法打入军阀内部，发展自己的革命武装。
1931年7月，刘志丹出狱后，根据陕西省委指示继续从事兵运工作。8月中旬，谢子长、高岗由西安经平凉来南梁，传达上级指示，命令刘志丹和谢子长二人利用地方军阀之间的矛盾，再次打入陈国璋部发展武装力量。不久，刘志丹就利用“拜把子”的方式，再次打进了平凉国民党暂编13师陈国璋部。
当时为了革命工作，刘志丹有很多“拜把子”的兄弟。冯玉祥手下的旅长陈国璋，就是刘志丹的拜把兄弟之一。陈国璋出身于陇东豪门，早年是甘肃义勇军的首领，后来接受了冯玉祥的改编，在他的手下任旅长。陈国璋部当时驻扎在甘肃平凉，他与军阀张廷芝、谭世霖等人矛盾重重，积怨颇深。所以，尽管他知道刘志丹是共产党员，仍然给了他一个部队的番号，以扩充实力，想利用刘志丹来给自己招兵买马扩充势力，使自己能在与张、谭的斗争中占据优势。所以刘志丹和谢子长二人来到陈部后，再次受到了陈国璋的重用。
刘志丹对此也心中有数，于是就借陈国璋的名义，在桥山的南端宁县成立了一个旅，编为13师直辖11旅，由谢子长任11旅旅长，刘志丹任副旅长，下辖2个团。祝杰为第一团团长，刘志丹兼第二团团长。部队当即开到庆阳县城附近的新铺镇和悦乐镇（陈国璋部的防地）进行整编，谢子长派马云泽为代表去平凉陈国璋司令部，办理部队改编的具体事务。
当时同刘志丹一同打入陈国璋部搞兵运工作的还有张秀山，他后来也成为刘志丹创建革命根据地的得力助手。张秀山当时跟着刘志丹打入陈国璋部后，担任11旅手枪队队长。这时候，我党也想利用陈国璋给刘志丹的这个职位和驻地，来建立自己的革命武装。就这样，刘志丹利用自己已经取得的合法身份，公开进行活动，不断吸收当地青年农民和共产党员参加革命武装，扩充力量。但是好景不长，在随后的军阀斗争中，军队又因发生火并而被打散了。
当时，在西北军杨虎城与苏雨生的火并中，苏雨生战败后向北逃窜，陈国璋就命令其部下高广仁、刘志丹相继堵截追击。刘志丹也想利用这个机会打苏雨生的军队，然后把他的人马拉过来。谁知那个高广仁却暗中勾结苏雨生和张廷芝，在宁县早胜镇里应外合，把刘志丹给扣押了，并且裹挟到了合水，将刘志丹的11旅缴了械。
陈国璋听到这个消息后，非常恼火，就又命令他的第五旅旅长蒋云台率部追击高广仁，解救刘志丹。结果在合水老城东关，蒋云台的军队把高广仁部给打败了，将刘志丹解救出来了，并安排他住在平凉城的一家旅店里。
哪知这个蒋云台也是一个叛徒，他对刘志丹也没安好心。当时他就是为了要抓捕刘志丹，才前去卖命打败高广仁部的。高广仁现在已经被打败了，蒋云台就准备对刘志丹下手，将他抓捕。但是，令蒋云台没有想到的是，正当他要对刘志丹下手时，他的一个手下得到了这个消息后，就连夜骑着马跑去告诉了刘志丹。刘志丹一听，事不宜迟，马上带着一个副官，连夜冒雨离开了平凉城。
刘志丹刚刚离开他们住的旅店，蒋云台派来抓捕他的人就到了。那些人在旅店里搜遍了，也没有搜到刘志丹。这时刘志丹已经跑到贾生财那里去了。
贾生财何许人也？贾生财也是刘志丹的一个结拜兄弟，当时是合水当地一个小民团的团总，手下也有百十号人马。他曾在当年二月份，与赵连璧、同守孝一起和刘志丹共同组织了一支游击队，这支游击队很快就扩大到四百多人，并在固城川麻峪村进行整编，推举刘志丹为这支游击队的总指挥。可惜没过多久，这支游击队就给打散了，他又在合水当地拉起了一支民团，自封为团总。所以他和刘志丹之间也算有过生死之交。
贾生财这个人很讲义气，见刘志丹连夜来投奔自己，就热情地接待了，还找了一个地方把刘志丹给藏了起来。蒋云台得到这个情报后，又立即派人来贾生财这里抓捕刘志丹。贾生财知道自己只有一个民团的武装，不能跟蒋云台来硬的，就用好酒好肉，把那些来追捕刘志丹的人招待了一番。那些人一个个酒足饭饱，又得到了贾生财给他们的“辛苦费”，就履行公事地搜查了一番，没有找到刘志丹，也就回去复命交差了。刘志丹这才又一次脱险了。
刘志丹脱险后，知道蒋云台不会放过自己，就带上部分人马离开了陈国璋部，转移到南梁山区去了。当时，暂时还没有暴露身份的共产党员张秀山，又奉命打入了驻防在甘肃靖远的王子元部开展兵运工作。
