杨虎城与蒋介石的政治关系是从1929年开始的，两者之间经历了一个由不识到合作，合作中由相互依赖到矛盾凸显，矛盾激化到最后决裂的过程，这个过程大约有六年的时间。两人的出身、理念根本就不同，合作的基础就是相互利用。当杨虎城执掌陕西政权和“九一八”事变发生后，两人的矛盾逐渐显现，暗中斗争逐渐激烈。随着日本帝国主义对我国侵略的不断加剧，最终导致了两个人政治上的决裂——西安事变发生。
杨虎城在日本时与邓演达的代表连瑞琦，在日本箱根车站的候车室里商谈了他回国后的发展计划。“这个计划具体是：（一）杨虎城决定回到部队，并约我一同回国去活动。（二）部队脱离冯玉祥，直属南京中央，归蒋介石直接指挥，以图扩充发展。（三）尽一切力量，使部队到西北，建立革命根据地。（四）部队干部，尽量吸收武汉政府退下来的青年干部，主要是未公开的共产党员与国民党左派。（五）利用反动派内部矛盾扩展革命势力，同时联络友军互相帮助。（六）部队中的共产党活动，一律采取秘密方式，万一暴露，设法送往安全地带。以上六条意见，作为我们回国后的计划和行动目标。”杨虎城回国后，基本上就是按这个计划从事的。
杨虎城从日本回国前，与蒋介石没有任何政治关系，他那时隶属于冯玉祥的国民军系统。1928年底，当他回国到南京晋见冯玉祥后准备回部队时，一天意外地收到何应钦送来的一份请柬，约他吃饭。酒席间，何应钦对杨冠冕堂皇地恭维了一番，并谈到蒋介石对他如何关切及电促其回国的情况，最后送了一份密电本，让他以后与南京方面多联系。之后，杨虎城率领部队在山东“剿匪”，也没有与蒋介石联系。直到1929年4月，蒋介石与冯玉祥的关系濒于破裂，冯遂下达“时局不靖，集结兵力，缩短防线”的命令，要暂编第二十一师随孙良诚由山东向河南转移。这时杨虎城未听其命，没有向河南转移。其原因主要有三点：（一）部队内部的大多数中上级干部，不愿跟冯的部队撤退。（二）胶东地方虽暂时得到安定，但原来的“匪军”残余以及张宗昌所属部队，仍在胶济路沿线日本占领区活动，希图伺机再起。（三）地方百姓也不愿意杨的部队离开。就在此时，何应钦来电谓：“胶东匪氛未靖，地方治安可虑，该部应即驻防原地，维持秩序，所有部队经费、番号等问题，中央当负责解决，诸希来京面谈。”据此，杨虎城便到南京见何应钦，然后见到蒋介石。蒋介石面授杨部番号为新编第十一师（后因与四川赖心辉师番号相重，遂又由南京政府电令改为新编第十四师）。部队服装给养，统由山东省政府就近拨给。杨虎城径返莒县装备整编部队。按中央军三三制改编为一师三旅，每旅三团，人约一万四五千人，枪约万支。从此这支部队脱离了冯玉祥而附随到蒋介石部队的序列，参加了一年多的军阀混战。
