1927年，正当北伐战争取得节节胜利、国民革命轰轰烈烈之时，4月12日，蒋介石在上海发动了反革命政变，开始屠杀共产党人和革命群众。4月28日，中国共产党的主要创始人和领导人之一李大钊及其他19名革命者，在北京被奉系军阀张作霖杀害。以蒋介石为代表的国民党右派与北洋军阀在反共问题上走到了一起。6月20日至21日，冯玉祥与蒋介石在郑州举行会议，冯玉祥公开倒向蒋介石一边。他撤换了国民军联军总部政治部部长——共产党人刘伯坚，押送苏联顾问团回国，并在其部队内和辖区内进行“清党”运动。7月15日，汪精卫在武汉也开始屠杀共产党人和革命群众。
而杨虎城从根本上就反对“清党”的做法，认为此举违反了三民主义的原则，背离了孙中山先生的路线。他不但不在所属部队中“清党”，反而接受和藏匿了一批被其他部队清理出来的共产党人，在他的部队继续维持着国共合作的局面。
1927年底，杨虎城率十军到达安徽的太和县，在皖北开辟出了一块自己的领地。在皖北时期，杨虎城在政治上继续贯彻执行孙中山的三大政策。国民革命军第二集团军第十军政治部派出农运工作队在太和县东南、西北两区秘密建立农民协会，组织贫苦农民与土豪劣绅进行斗争；发动群众，宣传反帝、反封建思想；在太和县成立了妇女会，由十军政治部的谢葆真任主任委员。在相当一个时期内，十军的驻地中仍然荡漾着大革命的气氛。
杨虎城将部队驻扎在皖北，一边休整部队，同时也在研究观察形势，为今后的发展寻求出路。当时，共产党、冯玉祥、蒋介石三种力量都在积极争取这支武装力量。共产党方面为了贯彻中共“八七”会议决定，也加紧开展对杨虎城及部队的工作，计划在皖北发动武装暴动。1927年11月22日，中共河南省委做出关于在杨虎城部工作的决议案。决议案指出：“杨军现住太和，四面被敌人包围，杨进退维谷”，“杨军有人七千余，枪亦七千余，其中并有不少我们的同志”，“派于基同志赴太和，切实调查实际情况，于可能时向杨提出：（1）不附南京，亦不附鹿；（2）认定自己的武力是真正为大多数工农平民的利益而奋斗而革命的赞成土地革命的武力；（3）淘汰一切犹夷和反动的分子，甚至铲除之；（4）在下层兵士中切实作政治的宣传；（5）不参与任何军阀战争。”“为进行此等工作，杨军中须组织特别委员会指挥之，现指定于基为特委书记，另在该军中找二同志组织之。特委受省委直接指挥，同时须与豫南特委发生密切关系。”“于基”即南汉宸。
根据中共河南省委的指示，11月，中共皖北中共特别委员会在太和县城成立，书记南汉宸，组织委员魏野畴，宣传委员蒋听松。12月19日，当时在高桂滋的第十九军内做秘密工作的共产党员胡伦，也在给中共中央的报告中说：“10月底又于豫东败退来皖北三部军队。杨虎城约7000人，枪4000枝，炮数门，惟无子弹，现近太和。”“以上各部领袖，思想较好者，为杨虎城有特立独行、好高骛远之气概，现刻彼虽十分困难，尚犹提起精神，锐意整顿部队，当其言语时，每每以政治为前提，时刻痛骂现时一般新军阀之非为，又常表示多找同学帮其工作，故蒋听松、张学静二同学，均已于前月内由高军长处拨过去了，蒋充杨之秘书长，张充参谋，尚有魏野畴同学充其宣传大队长，倘若要再派三五人，是可能的。”
中共皖北特委成立后，魏野畴、南汉宸等就在皖北发动武装暴动问题与杨虎城进行过多次商谈。杨虎城当时的基本立场与态度是：一、共产党反帝反封、争取农工解放的主张与杨的出身、个人奋斗经历都很一致；二、共产主义与杨所信奉的三民主义也是相融的；三、在国民党全面走向反动之后，他已对国民党失去信心，认为中国革命只能在共产党领导之下才能继续进行，因此他希望能加入中国共产党；四、第十军是陕西关中东部的地方性武装集团，是以杨虎城为首的以许多弟兄情感为基础的组合，具有较浓厚的乡土意识。从表面看，经过多年的革命活动，部队中已有不少进步和革命的青年军官，但还未能根本改变这支部队根深蒂固的、以乡土和宗派为特征的封建联系。部队从师、团以至营、连级的指挥权，大多还掌握在保守分子手里。这些人对暴动的态度不仅不会支持，甚至连勉强跟着走也成问题。杨认为必须待干部学校再办几期，彻底更换基层干部，使部队逐步掌握在进步分子手中，发动起义才有成功的把握。另外杨虎城认为周边环境比较复杂：一是皖北是军阀头子姜桂题、倪嗣冲、陆建章等人的家乡，封建势力根深蒂固，且未受到大革命浪潮的冲击，各种反动地方武装比较强大。第十军到太和后曾与所谓“红学”、“扇子会”发生过几次冲突，损失不小，这些反动势力将是起义的劲敌。杨认为对此不能不有足够的估计，同时认为特委对发动农民的程度的估计过于乐观。二是对周围的几支国民党军队的情况了解不够。当时驻在皖北的除杨虎城的第十军外，还有高桂滋的第十九军，萧之楚的第四十四师和王金韬的一个师，豫南地方还有任应岐部一个军。此时十九军已开始“清党”，其他几支部队的政治动向不明，仓促行事极易遭到围攻。总之，杨虎城认为起义条件根本不成熟，不应盲动。对此，中共皖北特委向中共河南省委作了专门汇报。
1928年1月9日，中共河南省委就杨虎城部的情况，专题向中共中央做出报告。报告称南汉宸报告杨虎城部目前状况如下：“（1）现有人数不到七千，枪支仅三千余，野枪、机关、迫击共计十余架，但子弹非常缺乏；其编制共计两师及直隶于军部之七个小部队。（2）杨本人近来因环境所迫，非常同情于我党，并要求加入我党，要求我们多派人到他的部队中去，无论政治工作人员和军事人员，都欢迎。（3）杨军内部非常复杂，各自成一系，每一小部分中，地域观念很盛，此派和彼派亦常有冲突，不过都服从杨。（4）要他们实行土地革命，马上是不可能的。（5）我们在其中同志共16人，多系政治人员，没有士兵工作。”
从这份报告可以看到当时中共河南省委不相信杨虎城的革命性，认为杨投机的成分很多，所以拒绝了杨虎城的入党要求。他们一方面不信任杨虎城，另一方面却要求杨虎城的部队起义，由此，杨虎城与中共皖北特委意见发生了分歧。跟随杨虎城到南京的米暂沉在《杨虎城将军》一书中说：当时，如杨虎城不参加起义而仍继续留在部队中，必将对起义产生不利影响，甚至会使合作局面陷于破裂。特委当然不愿意出现这样的局面，杨虎城也极不愿处在这种以自己为中心的矛盾旋涡中。为摆脱此种尴尬，他向特委表示自己可以离开，用他的话来讲，即“可以丢开部队，而不愿使自己与中国共产党的合作关系归于破裂”。
连瑞琦后来回忆：
杨说，他离开队伍的原因，主要是新旧两派激烈的斗争，使他无法应付，一派是共产党领导的新兴革命力量；一派是和他久共患难的旧派势力，这两派在当时是水火不相容的，双方都要求他屠杀一场，新的要求他杀旧的暴动起义；旧的要求他杀新的反共。这时正是“左”倾机会主义路线在共产党内占上风，新派逼他暴动，当时中国的实际情况是在第一个革命浪潮已经为历次失败而过去了；而新的浪潮也没有到来，反革命的势力还超过革命的势力。如蒋介石、冯玉祥、李宗仁、阎锡山、张学良等等都在反共。在这种情况下，杨的估计不能进行，也不能起义，只有训练干部，争取群众，倘若以三千多不团结的武装力量暴动一定失败，杨为了缓和这种紧张局势，不得不暂时离开部队。
1928年2月初，杨虎城偕夫人、秘书等离开太和。临行那天一早，中共皖北特委的负责人魏野畴、南汉宸、蒋听松等来送行，彼此相对黯然，互道珍重而别。
在杨虎城离开皖北后不久，中共在十军的组织完全暴露。杨虎城离开部队时曾交代十军参谋长孙蔚如：“这些朋友是我们请来的，纵一时不能合作，也要对得起朋友，要讲道义，要留有他日见面的余地。”孙按此交代把十军的共产党员集中在一起，分别发给路费，武装押送到皖豫边境处释放，没有伤害一人。南汉宸因为身份暴露，早于他人与杨虎城同一天离开皖北去了河南冯玉祥部。南走后，魏野畴担任皖北特委书记。
1928年4月9日，在魏野畴的领导下，以杨虎城的十军一小部、高桂滋的第十九军教导团的一部分，共约七个连，加上当地的一些贫苦农民，发动了皖北暴动。在太和与阜阳间的留集建立了红色政权。
但是，暴动很快就被镇压下去，魏野畴被逮捕，当天就牺牲了。杨虎城在上海得知皖北暴动失败、魏野畴遇难的消息后，沉默许久，流下了热泪。因为魏野畴是他结识的第一位共产党人，他从魏野畴身上汲取了许多有益的政治营养，两人成为挚友，六年的合作是肝胆相照、荣辱与共。他为保住十军这支革命部队，日后能为国家民族做更多事情而庆幸，更为失掉魏野畴这位挚友与同志而悲痛。
杨虎城离开皖北时将军务交由第二师师长孙蔚如负责，偕同夫人谢葆真与米暂沉、王一山、李百朋、白志钧、刘子潜等先赴南京。此举一方面是为了避免与共产党的矛盾激化，另一方面是为十军的生存寻找出路，希望与南京蒋介石政府建立一定关系。在南京杨虎城接受了李仲三先生建议，决定赴日本游历，藉广见闻，并静待国内局面变化。
