在中央政治会议上，李宗仁等提出“分治合作”主张，蒋介石采取“将欲取之，必先予之”的手法，以中政会主席的名义给各主要军事实力派领袖以政治分会主席名位，除划定江浙一带为中央区外，国民政府统辖的其余地区分为四块，即广西、广东属广州分会，分会主席为李济深；湖南、湖北为武汉分会，分会主席为李宗仁；河南、陕西、甘肃属开封分会，分会主席为冯玉祥；山西、绥远、察哈尔属太原分会，分会主席为阎锡山，同时确定政治分会在所辖区域有权处理党政军一应事务。这样就满足了各实力派领袖据有地盘的欲望，这实际是暂时保留军阀割据的局面。
蒋介石到徐州以布置北伐为名，一脚踢开了何应钦，调为有名无实的总部参谋长，而将第一路军改编为第一集团军，下设3个纵队，自兼集团军总司令，以刘峙、陈调元、贺耀祖分任第一至第三纵队总指挥。下级军官已被蒋拉拢，何应钦不敢抵抗，只得遵令交卸。
蒋电邀冯、阎2人到徐州举行军事会议，冯、阎均托故不到，仅派代表参加。蒋感到拉拢冯最首要，屈驾前往开封与冯相会，先是检阅了冯部军队，又由老将马福祥建议，蒋、冯交换兰谱，义结金兰。蒋写给冯的贴子是：
“安危共仗，甘苦同尝，海枯石烂，生死不渝。敬奉焕章如胞兄惠存。谱弟蒋中正谨订。”
冯写给蒋的帖子是：
“结盟真义，是为主义，碎尸万段，在所不计。敬奉介石如胞弟惠存。谱兄冯玉祥谨订。”
蒋介石回南京后，军事委员会补任蒋、冯、阎3人为第一至第三集团军总司令。第四集团军总司令一职，蒋实有意让谭延闿担任，但谭手中只有鲁涤平一个军的实力，根本无力驾驭桂军。“八面玲珑”之人谭延闿，向以“文甘草”著称，深知担任此职定为桂系所不容，坚辞不就。蒋也顾虑到此举激怒桂系会引起不良后果，还须借重桂军出兵完成“二次北伐”，尚须竭力避免与李、白冲突，乃将此职给予了李宗仁。然而李宗仁已窥破蒋的心思，对蒋并不买帐，迟迟不就任第四集团军司令职，目的是欲取其时尚由程潜控制着的湖南。
湖南位于桂、鄂之间，为新桂系连接桂、鄂之通道，是桂系垂涎之地。湘省大权因讨唐生智时与程潜有约在先，程潜任湘鄂临时政务委员会主席，控制湖南。程潜为国民党资历深长的元老，为人恃才傲物，对李、白决不会俯首贴耳，因此湘、鄂两省矛盾不断发生。照说程潜身任湘、鄂临时政务委员会主席，有权过问鄂省党务诸事。然而，湖北派桂系鄂籍大将胡宗铎、陶钧却不经程潜同意，在鄂自设整理党务委员会，驱赶前来改组湖北的政务委员会党务委员，并假借名义向程潜请愿。程潜为避矛盾，一再退避三舍，表示“余对党务毫无成见也，鄂民众既热烈拥护党务整理委员会，可立即前往接受。”但内心对桂系之跋扈已十分不满。李宗仁担任第四集团军总司令兼武汉政治分会主席，主持两湖善后，程潜对此二任命皆有不满。程潜主湘也成了桂系的一块心病。
程与桂系的矛盾虽为蒋所察，蒋固不愿让湘省落入桂系手中，但对主湘的程潜同样极不相信。倘若借桂系之手，先整垮程潜和他在湘的第六军，又能换取桂系出兵，对蒋显然有利，于是蒋对桂、程矛盾故意不作表示，暗中却为扩大矛盾推波助澜，桂系因之更加有恃无恐。
5月19日，李宗仁设下圈套，通知程潜来汉开会，并让白崇禧偕程由长沙赴武汉。当时程的左右因程潜与桂系不睦，要程对此行加以提防，程未介意。21日，程潜出席李宗仁召开的武汉政治分会会议。席间休息，李宗仁将程请至4楼，在程毫无防备的情况下，将程扣押，而后即以武汉政治分会名义致电南京，称：“程潜素行暴戾，好乱成性，西征后更跋扈飞扬，把持湘政。本日特别会议，决将程潜监视，请即明令免其本兼各职。”
蒋介石接电后，即同意免除程潜本兼各职，撤消湘鄂临时政委会，并着程潜听候查办。对湘省权位的空缺，蒋介石提出由谭延闿之亲信鲁涤平接充。李宗仁扣程后本就心虚，又担心拒鲁引起湘人反感，不便马上反对，只得暂且容纳。但李宗仁便将自己的势力大肆向湘省渗透。程潜在湘势力，在蒋、桂两方面的压力下，遣散的遣散，收编的收编，第六军再度被肢解，从此未能再起。
湘省问题解决后，李、白向蒋提出，拟以由原唐生智部新编的3个军为主力，桂军第十三、第七军各抽1个师，由白崇禧任第四集团军前敌总指挥，统一率领北上。同时又提出河南杂色部队移防豫西，腾出郑、汉路线，由桂军北上部队接管，蒋为桂军早日北上效命，一一应允。
蒋介石北伐，他的对手便是奉、直、鲁联军，统称为“安国军”，以张作霖为大元帅，下辖7个方面军，共40万人，由孙传芳、张宗昌、张学良、杨宇霆、张作相、吴俊升、褚玉璞分别担任军团长。张作霖做作战迎敌总动员，号召全体将士各逞虎威，奋勇向前，一举打垮蒋介石。
蒋介石发布了北伐全军总方略：以消灭奉、鲁军阀，即行肃清直、鲁、热、察、绥境内反动军队之目的，决命第一、二、三集团军各部队，于4月某日开始攻击。
3月31日，蒋介石率部渡江北伐。4月1日，蒋介石进驻徐州。4月7日，蒋介石发表《渡江北伐誓师通电》说：
“党国存亡，主义成败，人民祸福，同志荣辱，在此一战。全军同志，万众一心，严守纪律，服众命令，不惜牺牲，竭尽责任，发扬精神，达成使命，誓除奉、鲁军阀，完成国民革命，实行三民主义，不愧爱国救民，毋负民众期望，慰我总理及已死诸将士在天之灵。”
蒋介石审度当时敌我态势，北伐全军战线，自海州经徐州、曹州、大名、彰德，遥接井陉、龙泉、雁门之线，不下两千公里，自东南直至西北，各地战况不一。
蒋介石对于北军和各省杂牌军仍然采取见官升一级的招降办法，不论枪支多少，一律封官鼓励，因此各军有名为一军而实力不足一旅的，浮报名额、侵吞军饷的情况普遍存在，和北洋军阀毫无二致。由于政权财权并未统一，兵额扩充过多，南京政府面临入不敷出和军饷困难的问题，于是发行流通券1600万元，军需公债1000万元，此外还有军政人员减薪以及硬性摊派库券等问题发生。国民党卸下革命外衣，抛弃反帝、反封建任务，北伐战争实际上变成了南北新旧军阀争权夺利的战争。
国民党的作战计划是：以第一集团军沿津浦线北进，循泰安、济南、沧州而直驱天津；第二集团军则任京汉路以东，津浦路以西地区作战任务，自新乡向彰德、大名、顺德一带，右与第一集团军、左与第三、四集团军联系，会攻京津；第四集团军则循京汉路，经郑州、新乡，向正定、望都一带集中，为第三集团军的后援，直捣保定和北京；第三集团军沿京绥线及京汉线以西地区前进，同各集团军会师京、津。
北伐军采取“声东击西”之计，国民党北伐军全部兵力约70万人，在津浦线上的张宗昌的鲁军，早在冯玉祥部进行的豫东、豫北战役中挫伤了锐气，精锐部队基本上已被冯军歼灭，元气大伤，士气低落。因此，与蒋军作战只一天多时间，即4月12日，全线撤退。蒋军轻易取胜，沿铁路追击前进。
