！中山已逝列宁死，莫斯科城我来矣。
遗骸东西并保存，紫金红场更相似。
——红场歌
！靖国军将领除少数人如杨虎城坚强刚毅、追求真理，樊鍾秀不贪财色、质朴无华外，不少将领则朝秦暮楚，见利忘义，只知个人升官发财，不知革命为何物。于右任对此深为感触，因而在“失败之后，回念生平，非敢言觉悟也。因思以兵救国，实志士仁人不得已而为之；以学救人，效虽迟而功则远。”他把这一见解写成文章，在报纸上发表。岂料这篇文章却成为他创办上海大学的媒介。
上海大学的前身是东南高等专科师范学校，校址在闸北青云路。创办人为了敛财，招来160个学生（包括附中），设备既简陋，教师又不称职，学生强烈不满，卒与校方发生冲突。学生们决心请一位有革命声望的人来主持校政，于右任因在“双十节”时发表了一篇救国必先从教育着手的文章，成为该校学生延请的对象。学生代表通过在《民国日报》工作的邵力子，找到了于右任，陈述东南有办一个革命最高学府的必要，及现在于若不出来挽救，全校160名学生不但失学，前途绝望，还将有家难归，流离失所（其中多数学生来自安徽省，因受当地反动力量压迫失学而来沪求学）。于曾征询学生代表意见，谓原校名字既多又狭隘，拟改为“上海大学”，学生代表非常兴奋，当即取纸请他书就，做好校牌挂在学校门口。于考虑到：要办一所大学，经费及教员问题不易解决，因而未骤然应允，经邵力子、柳亚子、叶楚伧、杨杏佛等人从旁代为促驾，以及学生代表的恳切邀请，于允诺先到学校看看。10月23日上午，于右任、邵力子租车前往闸北。在北火车站附近，东南高等专科师范学校同学们手执旗子，列队守候道旁，汽车一到，乐声大作，同学们高呼欢迎口号。旋由乐队为前导，学生列队居中，汽车在后，缓缓向学校行进。时细雨蒙蒙，从北站到学校有数里之遥，同学们个个精神抖擞，队伍秩序井然。到学校时，尽管大家衣服尽湿，仍立即举行了欢迎会。
掌声中，于右任应邀起立致词，略谓：“予自陕西回沪，极欲投身教育界，但予乃愿为小学生以研究教育，非好为人师，因予自审学力不足，诸君改组大学，前途艰巨，尤非予所能任。予二十年奔走，能得人同情者，唯不随风倒浪，但因此便不能不审慎进退，予实不敢担任校长，但诸君如此诚意……自当尽力之所能，辅助诸君，力谋学校发展，改日再当提出意见，与诸君商榷，谨以诚意感谢诸君。”邵力子以来宾的身份致词说：“于先生为余旧友，余不欲作标榜语，但深知其进退不苟，七年（1918年）护法赴陕，辛苦数载，孑然归来，可谓失败，然其失败乃光荣之失败。”“于先生谦言愿为小学生以研究教育，余望诸君亦本此精神，切切实实地多求几年学问。”
就这样，于右任卸下靖国军总司令的职位不到五个月，又当上了新创办的上海大学校长。
于右任就任上海大学校长才二十天，在南市老城厢乔家路王一亭的公馆梓园里，参加接待了因创立相对论而享誉世界的物理学家爱因斯坦。
阿尔伯特·爱因斯坦（1879—1955）在《运动物体中产生的电动力学》的论文中，以光电效应获得1921年的诺贝尔奖。1922年11月13日，爱因斯坦乘北野丸轮船前往日本途中到达上海，当时中国尚处在军阀统治时期，国势阢陧，但上海的文化界、教育界人士获悉此事，却热烈欢迎，由清末大力支持过革命党人、家境富有的书画家王一亭出面，在他家中设宴款待这位后来被称为“20世纪最伟大的科学家”爱因斯坦，还邀请他的老朋友、刚就任上海大学校长不久的于右任等人出席作陪，在国民党的元老中，仅于右任获此殊荣，有幸与他同庚（爱因斯坦仅比于右任年长28天）的科学巨子会见，日后传为佳话。
对于当“上大”校长，人们有着两种截然不同的评价，有的说：当时于右任是挂名的，并不到校办公；有的说：时国共正谈合作，致上海大学有许多左倾之人任教，为共党吸收不少徒众，非先生（指于右任）始料所及。这两种评价都有失公允。
说他是挂名，只说对了一半。1923年以后，因国民革命事业的需要，他在广州、北京、河南、上海间奔波往返，无暇过问“上大”校务，请邵力子代理，这是事实。但如果说他在创办之初就是挂名，则未免有悖事实。
一所学校的开办，最迫切需要解决的，总是经费、发展规划（包括教学计划在内）和教员问题，如果于右任在出任校长后，亲自过问这几桩大事，便不能视作“挂名”。当初作为邀请于右任担任校长的学生代表之一的程永言回忆说：“上大”自成立招生始，房租、图书、器具、印刷等费用，日多一日。而来求学的青年，又多贫寒子弟，大多是免费欠费的。学校的经费入不敷出，一直由于、邵两校长维持着。
某日，于右任在福州路（原四马路）同兴楼菜馆内邀约李大钊等人中午便餐，专门商谈“上大”校务。李大钊即介绍邓中夏（安石）出任总务长，瞿秋白任社会学系主任。可见于在“上大”教职员安排上，也曾操过心。
又据1923年6月14日《民国日报》刊登的《上海大学概况》一文说：于校长接办以后，除于今春添设高级中学外，又屡次召集教职员详细讨论，究竟设些什么系？讨论结果：（一）在社会科学院下设社会学系、经济学系、政治学系、法律学系、哲学系、史学系；（二）在文学院下设文学系（包括中国文学、英文、俄文、法文、德文等），艺术系（包括绘画、音乐、雕刻等）。由于计划过于庞大，决定分三期进行，每期二年。后因“四一二”政变学校被封而未果。
1923年1月，前东南高等专科师范学校创办人王某，眼看于右任接办学校后，“上大”日益发展，入学学生愈来愈多，学校影响越来越大，心存觊觎，遂唆使被“上大”开除的学生登报造谣，并挑起诉讼事件，妄图夺取“上大”。在这过程中，于右任运用他的社会影响，发动学生与王某作斗争，迫使王某撤销了诉讼案，并承认所有校具及其他各种物件，均为改组后的上海大学所有。王某等人从此与该校脱离关系，从而维护了这一新兴的革命学校。
1924年秋，上海大学经济特别困难，几至无法开学，于右任向吴季玉借款五千元，始得维持一学期。
可见，于右任在“上大”创办时，勤于校政，并非挂名。
至于说“上大”被共产党利用，非于右任始料所及，更属无稽之谈。沈雁冰对“上大”创办过程曾有详细的叙述，足以证明这种说法之荒谬。
“原来有个私立东南高等师范学校，这个学校的校长想用办学的名义来发财，方法是登广告宣传他这个学校有那些名人、学者（例如陈望道、邵力子、陈独秀）任教职，学费极高。学生都是慕名而来，思想比较进步的青年，来自全国各地。开学后上课，却不见名人，就质问校长，于是学生团结起来，赶走了校长，收回已交的学费。这时学生中有与党联系的，就来找党，要党来接办这学校。但中央考虑，还是请国民党人士出面办这学校于学校的发展有利，且筹款也方便些，就告诉原东南高等师范闹风潮的学生，应由他们派代表请于右任出来担任校长，改校名为上海大学，于是于右任就当了上海大学的校长。”
稍后曾任中共上海大学（地下）支部书记的陕籍学生党伯弧也说：“于右任出任上海大学校长，名义上是经过校内外的国民党人所公推，实际上是当时中共中央决定的。在学校改组过程中，党中央曾从各方面给予了协助和支持。”
由此可见：正是中国共产党信任于右任，才推荐和支持于右任出任“上大”校长，为革命培养人才。那种于右任被中共利用之说，在事实面前，不攻自破。
于右任在“上大”担任校长的时间虽然不长，但他对这所学校及其学生却怀有深厚的感情。1927年“四一二”政变，学校被蒋介石封闭后，国民政府教育部一直不承认“上大”学生的学籍，致使二千名先后在“上大”求学的学生，在就业、晋级、生活待遇等方面受到不公正的待遇。经于右任多次与国民党有关部门交涉，1936年3月国民党中央第八次常务委员会才通过追认上海大学学生的学籍、与其他国立大学学生享受同等待遇的决定。
于右任任上海大学校长时，正是国共两党酝酿合作之时。1923年元旦，孙中山发表了《中国国民党宣言》，强调今后革命必须依靠民众的力量，一些共产党员也以个人的身份加入了国民党。23日，孙中山委于右任、居正、张静江、廖仲恺、戴传贤、陈独秀等二十人为参议。三天后，于右任奉孙中山之命，前往天津与蛰居在租界里的段祺瑞会晤。孙给段的信中说：“芝泉先生惠鉴：兹特派于右任晋商要事，即希赐予接洽。至文对于时局意见，已于今日电达，想邀英览矣。即颂冬祺。孙文。”所谓要事，就是联合段、张（作霖）以打倒曹锟与吴佩孚的直系势力，史学家称之为“孙、段、张三角联盟”。接着，孙中山发表了《和平统一宣言》，提出裁兵计划三纲要，以奠立和平之基础，解决迫在眉睫的民生问题。其要点如下：
一、化兵为工，先裁全国现有军队之半。
二、南北各派首领赞成后，全体签名，敦请一邦为佐理，筹划裁兵方法及经费。
三、裁兵借款，其用途除法定监督机关外，另由债权人及全国工商学报各团体，各举代表加以监督。
由于段祺瑞当时是在野之身，便很快电复孙中山，欣然赞同裁兵计划，于右任圆满地完成了任务。3月14日，于右任自天津抵穗，向已继行大元帅职权的孙中山复命。此后，于右任即留广州，追随孙中山左右襄赞一切。
1924年1月，时值商务印书馆发行的《东方杂志》创刊20周年，于右任应编者之邀，撰写了《国民党与共产党》的长文，文中力斥“君子不党”旧说之非，批驳了国民党内反对国共合作的种种谬论，强调国共合作以救中国，认为“合则两益，离则两损”。文章结尾说：“苟能祛两方之误解，合真诚革命之士而奋斗，新中国之出现，其大有望乎？”表示了这位孙中山先生的信徒赞成国共合作的强烈愿望。
1月20日至30日，中国国民党在广州高等师范学校（中山大学前身）举行了有共产党人参加的第一次全国代表大会。大会确立了联俄、联共、扶助农工的三大政策，通过了新的国民党党纲、党章和改组国民党使之革命化的各项具体办法。于右任出席了这次大会，并与廖仲恺、胡汉民、汪精卫、李大钊、张静江等二十四人当选为第一届中央执行委员。
大会结束后，中央执行委员分赴各地区组织执行部，指导各地的党务工作。于右任等被派往上海执行部，该部辖江苏、浙江、安徽、江西等四省。于右任担任执行部的工人农民部长，邵力子为秘书；胡汉民为组织部长，毛泽东为秘书；汪精卫为宣传部长，恽代英为秘书；叶楚伧为青年妇女部长，何世桢为秘书；茅祖权为调查部长，孙镜为秘书。
10月23日，冯玉祥、胡景翼、孙岳发动“首都革命”，电请孙中山北上，于右任等自沪随行。孙中山扶病抵北京，病转加剧，入协和医院就医。孙精通医学，自知病重，无好转希望，因而加派于右任、吴稚晖、李大钊、陈友仁、李石曾五人为政治委员，组成北京政治委员会，处理党务。
当晚，诸人集议甚久，认为应趁孙中山临终前，草拟一种文告，作为万一准备。时于右任提出用“遗命”二字，大家认为不妥，建议用“遗嘱”二字，经几次会议，草拟成“总理遗嘱”。孙中山逝世前，于右任奉命赴东北与张作霖商谈，东北之行虽成功，但孙中山逝世时未能随侍在侧，亦未能在遗嘱上签字，于右任引为毕生遗憾。
1925年11月，国民党中央执行委员中的林森、邹鲁、谢持、张继等十余人先后到达北京。23日，他们在西山碧云寺孙中山灵前开会，反对联俄、联共、扶助农工的三大政策，主张与共产党分裂。这次会议即为“西山会议”。会前他们也曾找于右任（于当时任国民党北京执行部委员，委员中还有李大钊等人），于以“道不同不相为谋”而拒之。后来他们大闹国民党北京执行部，强行抢走了印章和名册，企图搞垮坚决执行孙中山三大政策的国民党北京执行部。
1924年11月曹锟垮台后，段祺瑞出任临时执政，请于右任担任内务总长，于辞不就。1925年的5月，上海发生了“五卅”惨案，英国巡捕在上海南京路开枪打死了游行的群众，激起了全国性的反帝爱国风暴。于右任因是孙中山临终前加派的北京政治委员会委员，时正在北京，遂与群众一道走上街头，抗议英帝国主义的暴行。在天安门广场举行的反帝大会上，于登台发表演说，谴责英帝国主义开枪打死中国公民。演讲时，共产党员于树德用扩音话筒加以重点解说，受到与会群众长时间的热烈鼓掌欢迎。于右任还向报界发表谈话，“试问租界捕房，有何理由，据何权限，有何必要，而能开枪杀人乎？”7月，国民政府在广州成立，由中央执行委员会推16人为国府委员，于右任为委员之一。
“首都革命”后不久，冯玉祥被迫离京，段祺瑞政府任命胡景翼为河南督办，胡率国民军第二军开赴河南。1925年4月10日，胡景翼病逝，其部将岳维峻继任河南督办。是时，“五卅”运动爆发，革命形势高涨，于右任还特地去过一趟河南，检阅岳维峻的部队（靖国军旧部），受到盛大欢迎。在欢迎大会上，于右任即席发表演说，阐述为什么要革命的道理。他说：“革命是被压迫阶级对于压迫阶级的一种反抗的行动；革命是人类社会进化过程中的必有突变现象；革命是根本解决被压迫阶级，根本改造旧社会的方法；革命是舍己利人，普救众生的、最高尚、最神圣、最光荣的事业。”并对身为一省之长的老部下岳维峻恺切地劝勉了一番，希望他能振作精神，带好国民二军。
1926年，北方政局又发生变化，国民军在河北、山东相继失利，冯玉祥部退向察哈尔。为缓和奉军的攻势，冯玉祥宣告下野，但直奉军阀并不因冯下野停止进攻。冯见事不济，乃去莫斯科，所部交给张之江带领。此时直奉两系军阀以北京为中心，盘踞河北、山东、河南数省，企图南下。阎锡山所部固守山西，窥测方向，待机而动。刘镇华的镇嵩军，唯吴佩孚之命是从，在豫西打垮了岳维峻的国民二军主力之后，乘新胜之余威，率领六万之众（对外号称十万），浩浩荡荡，杀向西安。时西安城内只有李云龙（虎臣）的国民二军第十师的一部分，以及陕西陆军第四师卫定一的两个团，总兵力不到五千人，情况十分危急。因此，于右任电令驻防在陕西耀县一带的靖国军旧部杨虎城率部援救西安。由于刘镇华等敌方兵力有六万之众，西安被围困达八个月之久。
形势对国民革命不利。中共北方区领导人李大钊，特请国民党中央执行委员于右任，专程前去苏联，敦促国民军领导人冯玉祥回国，重整旗鼓，收拾残局，完成国民革命的任务。
于右任当时是奉军重点通缉的同国民军有关系的两大要员之一（另一人为徐谦），又是国民党的中央执行委员，奉军进入北京后，他匿居在皇城根的一座小寺院内，深居简出，但仍与外界保持一定的联系。为了逃出北京，完成李大钊交给他去苏联敦促冯玉祥回国的任务，他与原靖国军樊鍾秀部的孙殿英（孙此时已投奉军）取得联系。孙在深夜派来一辆军车，将于右任秘密送到天津，化名原春雨，住在天津英租界的国民饭店里。
由于于右任是通缉对象，在天津无法乘船出国，只得潜往上海。到上海时恰逢端午节，与家人小聚后，即搭乘一艘苏联轮船经日本赴海参崴。
船过黄海，夜不能寐。此行肩负中国共产党之托，促冯回国，心情激动，感奋不已，虽年近半百，能成为革命军中一战士，岂不胜似少年？因赋《舟入黄海作歌》：
黄流打枕终日吼，起向柁楼看星斗。
一发中原乱如何，再造可能是八九。
神京陷后余亦迁，奔驰不用卖文钱。
革命军中一战士，苍髯如戟似少年。
呜呼！
苍髯如戟一战士，何日完成革命史？
大呼万岁定中华，全世界被压迫之人民同日起！
到海参崴后，由苏俄政府安排坐火车去上乌金斯克。时值布里亚特蒙古族人民自治共和国成立五周年，作为自治共和国首府的上乌金斯克，张灯结彩，热闹非凡，他们以十分隆重的蒙古族习俗——两头见太阳的宴会（即从当天下午太阳未落山起，到第二天早上太阳升起为止），热烈欢迎于右任，宴会歌舞，通宵达旦。于右任有感主人的盛情，作了一首长诗，其中有：“四日松林作食堂，露天大宴尤难忘”，“响彻云衢国际歌，天将明矣唱未央”等句，记述其事。
于右任从北京出发时，李大钊通过苏联使馆与冯玉祥约定，在上乌金斯克与于右任会晤。于到达后，住在当地中国领事馆，等候将近一月，冯玉祥方回电，邀于前往莫斯科会面。此时，于随身所带路费业已用罄，幸李大钊命史可轩（于的靖国军部下，此时已参加共产党）送款至，方动身去莫斯科。
！7月下旬，于右任到达莫斯科，随即到郊外的差里彻罗村冯玉祥的住处与其密谈。经过会谈，冯接受了李大钊提出的进军西北、解西安围、出兵潼关、策应北伐的意见。
冯、于会谈达成协议后，苏联政府给于右任等人安排了一些参观活动，如参观克里姆林宫，瞻仰列宁墓等，于右任有时也上街漫步，浏览市容，考察民情。不久，适苏联人民为捷尔任斯基举行追悼会，冯、于应邀前往吊唁。在大会上，与斯大林、莫洛托夫等领导人作了短暂的交谈。
在莫斯科，于右任还与当时派在中山大学的国民党代表邵力子见了面，得知他与该校学生傅学文在这里相识并相爱，曾与邵在震旦同学又在创办复旦公学成为患难之交的于右任，趁此难得的机会，劝他们就在莫斯科结婚，并毛遂自荐地担任了他们俩的证婚人。傅学文30年代初回国，家人又为他们补行婚礼，宴请亲朋。时徐家汇复旦中学新办公楼落成，校方将此楼命名为“力学堂”，祝贺这一对革命伉俪。
此时，国民军已从南口退却，察哈尔、绥远局势又趋紧张。李大钊从北京来电，电文云：“察绥战局恶化，西安求援急如星火。”敦促冯玉祥迅速回国。于右任为促使冯早日起程，于8月中旬先期从莫斯科动身，经库伦（今乌兰巴托）南下。在库伦附近考察了外蒙古土谢图汗部诺颜山下苏珠克图地方212座古墓，并著有长达三千余字的《考察记》。
在库伦，于右任巧遇前往莫斯科的李烈钧。李告诉于，冯玉祥的国民军已被奉军打败，千万不可前往张家口，可经包头南行。于是，于右任一行的两部旧汽车，穿过沙漠直线南下。茫茫戈壁，一望无际，黄沙滚滚，不见草木，有时大风突起，飞沙走石，真是“一川碎石大如斗，随风满地石乱走”。于右任白天赶路，晚上露宿戈壁，经历了平生未曾见过的惊心动魄的场面。
有一天，汽车行驶到固阳附近，恰遇一群溃散的乱兵持枪抢劫，于右任一行只好到一座墙高门固的黑色教堂躲避，当地老百姓也有上百人避入其间。俄顷，溃兵接踵而至，倒箧搜身，大肆抢劫在教堂避难的人群。于右任一行见势不妙，离开大厅到一小房间藏匿。不久，几个乱兵砸门而入，用手枪对准于右任胸口，要他把钱物都交出来。随行翻译马文彦灵机一动，对乱兵说：“钱在后面的行李中，你们跟我来取。”趁机将乱兵引开，让于右任换个地方躲藏。于右任等后来得知他们原来是冯玉祥部鹿鍾麟的部下。
此时，日已西坠，随员们忖度：这些乱兵既是国民军旧部，一些下级军官可能认识于右任，他们怕被冯知道后挨枪毙，说不定会杀人灭口，因此主张马上离去，于右任也同意他们的看法。
有一汽车司机不敢冒险开车，强调汽油不够，怎么劝说他都不干，甚至答应到后把汽车送给他再给他钱，他也不肯开车。但另一司机齐玉铭，忠实勇敢，愿与于右任等共生死，遂开车突围。时乱兵见汽车疾驶，开枪射击，子弹从车旁掠过，惊险万状；齐玉铭加大油门，开足马力，疾驶出险。
脱险之后，汽车继续南行，忽见远处有一串黑点移动，大家都延颈举踵鹄立远望，断定是冯玉祥车队。果不出所料，三十多辆卡车载军械、苏联顾问和冯的卫队陆续到来。冯、于在沙漠里再度相见，欣喜不已。然而遭冯部溃兵抢劫后，心终不怿，后经冯玉祥解释，方释于怀。冯、于汇集一起，车队继续前进，于9月15日抵达五原。
五原在今内蒙古自治区的西部，当时是绥远省的一个镇（后改县）。9月17日，誓师授旗典礼在“兴隆长”车马店东边的广场举行。广场上临时搭起一座主席台，所有部队都全副武装，城镇和郊区的老百姓也纷纷赶来与会。誓词出自于右任的手笔，由冯玉祥宣读。于右任以国民党中央执行委员的身份授旗并监誓。大会通电全国，宣布国民联军总司令部成立，冯玉祥任总司令，共产党员刘伯坚为总司令部政治部部长，全体官兵集体加入国民党。五原街上到处张贴“打倒帝国主义”、“铲除卖国军阀”等标语。会后，根据李大钊的建议（即：进军西北、解围西安、出兵潼关、策应北伐），冯玉祥、于右任制定了“固甘援陕、联晋图豫”的八字战略方针，放弃了冯原来制定的进军北京、经直隶会师中原的方案。为加强领导，国民联军随即建立了国民党最高特别党部，于右任、刘伯坚等十一人被选为最高特别党部的执行委员，冯玉祥、史可轩等五人被选为国民联军国民党监察委员。
出发前，冯玉祥把联军将领及其所部一分为二，将孙良诚、吉鸿昌、孙连仲、方振武、马鸿逵、刘汝明等部划归于右任指挥，并任命于右任为国民联军驻陕总司令，设临时总部于三原。部署既定，冯玉祥便同苏联军事顾问乌斯曼诺夫，以及鹿鍾麟、宋哲元、石敬亭等人率部去包头、归绥一带，收拾整顿散失在那儿的张之江等人所部，以重整旗鼓，会师中原。
于右任率领的援陕部队分两路入陕，孙良诚、吉鸿昌所部经银川（当时称宁夏）、固原、平凉、长武、彬县至乾州。于右任稍后与苏联顾问赛夫林、西林等乘车经临河、磴口至银川，不料在石咀子以北，迷路误入沙漠地带，车轮陷入黄沙，进退不得，费尽九牛二虎之力，才开到黄河附近（在沙漠边缘），人饥力竭，舌敝唇焦，只得露宿沙漠。由于饥渴难忍，久久不能入睡，史可轩自告奋勇，到数里外的黄河汲水解渴。这天正是我国传统的中秋节，千家万户家人团聚，而于右任却睡卧沙漠，近处野狼长嚎，远处贺兰山蜿蜒，仰望苍穹，诗从中来：“护巢苍隼安云晚，失水神龙讵足忧。大地驰驱四万里，贺兰山下作中秋。”（《中秋过贺兰山下》）
在银川稍事停留后，即经固原、平凉、泾川，出陇东，到陕西的长武、彬县（旧称邠州）。这一条路，正是他的外祖父六十年前负儿携女逃难经过的地方，特别是在长武、彬县之间，每经过一个山谷，他仔细观察地形，猜测这个山谷是否就是当年母亲被遗弃之处，乃作《邠县道中》诗一首，隐晦曲折地表达他对母亲少时因灾荒被遗弃的哀痛。
到达乾州后，于右任以驻陕总司令的身份召开了军事会议。出席会议的有：孙良诚、方振武、吉鸿昌及其所部旅团长，苏联军事顾问赛夫林、西林等，还特邀邓宝珊（原为靖国军旧部，后任国民二军师长，国民二军在河南失败后，回陕家居）参加。会议制定了由兴平迂回过渭直攻东进的作战计划，并请邓宝珊代于具体指挥解围之战。于曾对邓说，他是一个文人，不能久任军旅之事，西安解围后，将来成立国民联军驻陕总司令部时，副司令一职拟由邓担任。于右任作这样的安排，是为邓宝珊以后担任副总司令一职树威。部署既毕，于右任乃返三原，积极筹建国民联军驻陕司令部。
西安之围是从1926年4月初开始的。这年年初，直奉军阀联合向国民军进攻，打败了在河南的国民二军，吴佩孚委刘镇华为陕甘剿匪总司令，带领一支号称十万之众的部队向西安进发，4月初兵临城下。当时西安城内只有守军李云龙和卫定一所部不满五千人，城破在旦夕。
刘镇华的镇嵩军本是惯匪集团，奸杀抢掠无恶不作，所过之处，庐舍为墟，西安人民既恐惧又恨之入骨，热切盼望在凤翔一带追击吴新田部的杨虎城率部前来坚守。杨顺应西安人民的要求，迅速赶到西安，稳定了战局。5月5日，敌人占领了西安、咸阳之间的三桥镇，从此西安和外界的联系完全断绝，杨部和李、卫等部在敌众我寡、装备悬殊的条件下，坚守八月之久。这时期，城内粮食奇缺，皮革、药材乃至于油渣豆饼全都吃光，但冻死饿死的军民仍几达五万，因而引起了一些人的不满。所以，杨虎城后来在公祭这些死难军民的大会上，送的一副挽联是“生也千古，死也千古；功满三秦，怨满三秦”，对守城功过，进行自我评说。
乾州军事会议后，孙良诚所部胜后受挫，准备退却，苏联顾问反对，说：“我没有奉到退却的命令，你退却可以，但请你先把我枪毙了，否则，你就不能退却。”后来孙良诚、刘汝明等将领均按苏联顾问赛夫林的“以轻兵绕终南山、阴蹑刘镇华之后猛击之”的作战方案，并将患足疾的邓宝珊用轿子抬到前线指挥，一举攻克三桥镇，城内守军也趁机不断出击。到11月27日晚，刘镇华所部开始撤退。28日，天还未亮，饥寒交迫的西安市民，不分男女老少，一齐拥上街头，欢呼被围困八个月零二十二天的西安解围。
西安被围期间，城内破坏严重，昔日繁华的大街成了一片瓦砾场，满目疮痍，白骨累累，生者嗷嗷待哺，死者暴尸待掩。在战争最艰苦的后期，军民争食，关系随之紧张，一些“和平期成会”分子，煽风点火，蒙蔽市民，借此攻击杨虎城，杨的“怨满三秦”即指此。西安解围后，杨只身秘密离开西安，匿居于渭北友人家中，表示引咎自责，不愿再干。
这样一来，急坏了于右任和邓宝珊，他们到处寻找，杳无音讯，后来得知杨的匿居地址，于右任立即给杨写了一封极为诚恳的亲笔信：
虎城老弟麾下：兹派周诚前来，请弟回省，望即日命驾，共商一切。如弟不归，我即前来，此时非碰死在你面前不可。陕民痛苦极矣，此千载一时之机会，教我伶仃老弱之人做去，如何能改良、能进行？弟如是爱我者，弟应当速归；弟如是怜我者，弟更当速归。我四万里外拚命回来，竟不能见弟一面，弟任我老而翻筋斗，心中安耶？否耶？老天助我，杨虎归来，临书吁嗟，欲言不尽。
此时，冯玉祥已由呼和浩特经包头、银川来到西安，得知坚守西安的杨虎城已经出走，颇为骇异，特派人持信赴渭北促驾，原信如下：
嵩匪（指刘镇华镇嵩军）祸陕，荼毒生灵，围扰西安，时阅数月，我同志孤城力守，坚忍撑持，卒获解围，远逐丑虏，功高劳苦，至深叹服。唯是目今匪众虽溃，元气已伤，诸资整饬，用是迭电奉请担任联军第十路总司令，以期早日削平逆贼，完成革命大业。务望继续努力，协同右任、宝珊诸同志一致奋斗，益用猛进，党国前途，实深利赖。兹派姚维藩同志代谒台阶，面致敬佩，祈赐接洽，不尽之意，统由姚同志代达。
杨虎城不肯复出，除前面所说原因外，还因为他周围的挚友故交，不断以五年前冯玉祥督陕，计杀郭坚一事提醒他，但这样一来却苦了于右任。于不断派人持书促杨回西安，并亲自书写孙中山遗嘱全文送杨促其速回：
虎城老弟麾下：兹再派秋轩来原（指三原）迎驾，弟如再以闭门羹飨秋轩，则我二人绝交可也。大局如此之急，国民盼我们如此之切，而弟竟漠然如此，真所谓忍人而已。今日之大问题，即是西北革命怎样完成工作，怎样对得起陕西人民。啼饥号寒之声，遍于关内外，三原何乐，竟卧一虎，真是怪事，然则秦民又罪孽深重矣。秋轩之便，送上拙诗一本，赠英雄而又想作诗人者，见诗如见老朽，并递上拙书遗嘱（即孙中山遗嘱），是此遗嘱催弟出山，与我无涉也。
此后，冯玉祥、于右任又派张之江、史可轩等人去三原催促，杨虎城乃于1927年2月9日回到西安，就任国民军联军第十路（旋改军）总司令职。
西安之围既解，国民联军驻陕总司令于右任、副总司令邓宝珊移入西安皇城（后于右任改为“红城”，1927年6月于去武汉，冯部石敬亭代替于，又改为“新城”）办公，总部机关报《国民日报》也于是年年底出版发行。1927年1月，于右任相继任命各部、厅的领导人，其正副职多数是国民党左派和中共党员，当时在陕的共产党员魏野畴、李子洲、史可轩、杨荃骏（杨明轩）、杨晓初、许权中、刘天章、陈家珍等均被委以重任，参与领导。
冯玉祥到达西安后，着手建立“国民党西安政治分会”（亦称西北政治分会）。1月30日，正式成立国民军联军总部，除冯玉祥为总司令外，刘伯坚任政治部副主任（主任缺），宣布了国民军联军的十三路司令名单。部队各级均建立了政治工作机构，邓小平、刘志丹、方仲如、宣侠父、蒋挺松、李世乐、卢绍亭、贾从周、唐澍等二百多名共产党员先后到部队工作，有的还兼地方工作，成为驻陕总部的有力支柱。
在于右任出任国民联军驻陕总司令期间（主要是在1927年上半年），认真执行了孙中山的三大政策，与中国共产党真诚合作，工农运动蓬勃发展，陕西出现了空前大好的国共合作的局面，是大革命时期全国革命运动高涨的少数几个省份之一。
1927年1月，国民党陕西省党部成立，于右任大书“一切权利属于党”、“一切利益归于民众”十五个大字，刻石嵌入省党部大门墙壁；又横书“工农商学兵联合起来”，作为各界民众团结战斗的口号。驻陕总部还创办了中山学院（院长刘含初、副院长李子洲均为共产党员），讲授三民主义，学习革命理论，培养造就了一大批政治工作干部。
中共陕甘区委还协助驻陕总部创办了中山军事学校，史可轩任校长，李林任副校长兼教务主任，邓希贤（邓小平）任政治部主任。该校先后录取学员七百余人，培养了一批军事、政治骨干，被誉为“北方黄埔”。
陕西的平民教育也是当时全国搞得最好的地区之一。
西安解围后，驻陕总部命停顿已久的中小学迅速开学，这一措施对稳定市面、安定人心起了一定的作用。4月，成立了以共产党员杨明轩、王绶金等五人为首的“强迫平民教育筹备会”，宣布平民教育的宗旨是：“以培养国民革命实际斗争人材，实现民族、民权、民生主义，达到世界革命。”4月18日，在西安莲花池（今莲湖公园）召开了声势浩大的强迫平民教育运动大会，到会群众达五万人，于右任、刘伯坚、杨明轩都在大会上讲了话。会后发表的宣言，明确提出了“教育社会化，教育革命化”的口号，还规定4月13日为“陕西教育革命节”。
驻陕总部成立后，在中国共产党的帮助下，大力扶持工农群众，积极维护工人的合法利益，“改善工人待遇与工人生活”（纪念“五一”大会决议）。在三原、华县等地，还举办了农民讲习所；驻陕总部为发展农业生产，颁布了一系列新的法令，取消苛捐杂税，减少地租；3月15日，总部民政厅训令第五十三号中提出：“在革命政府之下，农民为发展民众权力，应成立农民协会而由农民协会自行组织农民自卫团，借资防卫闾里，铲除恶绅土豪，抵抗军阀盗匪。”
当时西安的群众活动，在全国仅次于武汉。仅以1927年的5月为例，先后在红城和莲花池举行了“五一”、“五二”、“五三”、“五四”、“五五”、“五七”、“五九”、“五卅”等纪念大会，每次纪念大会参加者数以万计，气氛热烈，情绪高昂，“打倒列强”、“打倒军阀”、“铲除土豪劣绅”等口号，响彻西安上空。于右任也应邀出席这些大会，并即席发表演说。过去由于封建意识难以开展的妇女运动，在新的形势下，也有了较大的发展。各地普遍成立了妇女协会，中山学院为了培养妇女干部，还特别开设了妇女运动班。驻陕总部还采取委派女县长、招收妇女宣传员等措施，使男女平等变为现实。
正当陕西革命形势蓬勃发展之际，全国的形势发生了重大变化，上海发生了“四一二”反革命政变。5月1日，冯玉祥就任国民革命军第二集团军总司令之职（第一集团军总司令为蒋介石），6日率兵出潼关作战。临行前，发表了致驻陕各将领书。从书中可见，冯军与于右任之间早已存在芥蒂。冯在信中说：“于总司令为党国所信托，作西北之屏障。玉祥与于总司令对于后防已有切实的计划，而另一方面实有人尚未完全信赖于总司令，故易为流言所动；望我后防全体将士，一致爱戴于总司令，视之如慈母，敬之如良师，后方自无可虑，前敌胜利，必有把握。”
事实也的确如信中所讲的“尚未完全信赖”、“易为流言所动”那样，西安解围后，于右任满以为该有所作为，但每有革新，冯部设法掣肘；每有决定，冯部不予执行，名为驻陕总司令，但对冯部就是指挥不动。于一气之下，遁居于耀县东北的药王山古庙里，两个月后，经各方促驾，才返回西安。
当时，汪精卫的面目尚未暴露，仍与共产党合作，于右任在陕西处境困难，故趁随冯玉祥赴郑州开会之机，于6月13日来到武汉。他初莅武汉时，在总政治部、第四军及汉阳兵工厂讲演，对工人讲话时，曾说：“中国革命，一个肩膀挑着中国革命，一个肩膀挑着世界革命。全世界被压迫阶级团结起来，彻底打倒一切帝国主义。”并将这些话亲自写成标语，分送各方。
1927年6月，郑州、徐州会议之后，蒋介石、汪精卫、冯玉祥逐步合流。6月14日，开封政治分会成立，撤销西安政治分会。6月15日，冯玉祥明确提出，于右任已去武汉，其职务由石敬亭代理。7月18日，陕西省政府改组，共产党员全部被排挤出去，这个半年多来一直支持人民群众运动，进行革命斗争的政权被迫解散，苏联顾问被送回国，大批中共党员和爱国志士被“礼送”出境，开始了大规模的“分共”“清党”活动。轰轰烈烈的陕西大革命，同全国其他各地一样，就这样夭折了。
