杜宣按计行事，只带了两个随从前往劝说。他对樊雅说：“此前殷乂对张平轻慢，并非是祖逖的意思，责任在殷乂。现在如果你归顺朝廷，既可让你做官，还可保你荣华富贵。如果固执顽抗，朝廷则更派猛将大兵压境，你性命也难以保全。希望你能考虑清楚。”樊雅终于被杜宣说服，设酒招待杜宣并结为朋友，然后让他的儿子作为人质随杜宣去见祖逖。过不几天，樊雅亲自登门拜谒祖逖并谢罪。祖逖则放樊雅回去安抚好自己的部下。樊雅的部将因以前辱骂过祖逖而不敢投降，担心遭到报复。樊雅投降的决心发生了动摇，于是又坚守城门，继续抵抗官军。这时祖逖只得率军前往攻打谯郡，同时再派杜宣前去劝降，樊雅被逼无奈，只得斩杀了不愿投降的将领，率部出门投降。祖逖以最小的伤亡代价，平定了豫州。
豫州既平，祖逖便乘势催兵向北推进。陈留郡的蓬陂坞主陈川是当地较大的坞堡势力。他自称宁朔将军、陈留太守，驻据浚仪（今河南开封），拥兵自立。
祖逖决定攻打陈川，并把陈留当成主要攻击的目标，采取征服陈川，威慑其它坞堡，以平定宪州的方略。祖逖首先发兵一支与川军战于谷水（今河南竹竿河）一带，夺回川军所掠获的人员马匹，迫使对方退回陈留；然后率领主力北上，直逼陈川的老巢蓬关（即蓬陂）。抵挡不住的陈川只好退守浚仪并于不久投降了石勒。当祖逖率队逼近浚仪时，石勒已派石虎率兵5万来救，两军相战于浚仪。由于众寡悬殊，祖逖避开与石虎正面交战，在浚仪一带摆下了许多奇阵。石虎大败而逃，只剩下桃豹率众固守浚仪。
浚仪是陈川经营数年的老据点，向为兵家必争之地，祖逖于是集中兵力准备拔除浚仪。桃豹虽兵力不及石虎，但凭城固守，拒不出战，加有石勒的支持，祖逖久攻不下，两军出现相持局面。
晋元帝大兴三年（320），祖逖派部将韩潜攻打浚仪，但以失败告终。桃豹驻守城西台，韩潜驻东台，两军各据一台，都无法吞并对方。同一浚仪城，豹军从南门出入，逖军从东门出入。这样一直对峙了40余日，双方均乏粮难于支持。祖逖为了就此挫敌锐气，利用双方粮绝人饥的机会，施用了一个绝妙的计策：他命令士兵将土装入布袋，如同米袋一般，让1000多人送上东台，故意制造运粮的声势，向据守西台的敌军士卒显示。他还命令一些人出城担米，在经南门附近时，假装疲劳休息于道。桃豹派兵往击，担米者故意弃担而走，让他们掠去。桃豹的士兵掠得白米，又见东台祖逖军中搬来搬去，都认为祖逖米粮充足，而自己饥馑已久，不堪支持，于是更加畏惧怯战，营中士气随之大衰。
石勒听说桃豹在浚仪缺粮，便派部将刘夜堂用1000头驴饱驮粮食运往浚仪。密切注意敌军增援的祖逖，很快得到了这一消息。于是，他派出重兵拦击石勒粮队，一直追击刘夜堂至汴水，将所用军粮全部截获。祖逖营中得到军粮补给，士气更盛。而桃豹久不得济，更加恐惶不安，后来看到粮尽援绝，只得放弃浚仪，北撤东燕城等待援助。
祖逖的胜利极大地影响了黄河以南的战事。为了扩大战果，趁机推进，祖逖将部队分为三支：一由韩潜率领，北进封丘（今河南封丘），追击桃豹；一由冯铁率领据守浚仪东西二台，控制这一水陆交通要地；一由祖逖率领镇守雍丘。石勒军队每次来犯，三支部队便前后呼应，相互协同，阻截或夹击之。石勒得不到南下机会，在这一带的势力也就随之逐渐瓦解。就这样，祖逖顺利地收复了原陈川控制下的陈留郡。
元帝大兴三年（320）七月，祖逖以军功被司马睿任命为镇西将军。
在祖逖的威慑下，石勒不敢出兵到河南，他派人在成皋县修祖逖母亲的坟墓，并写信给祖逖，请求互通使节、互市贸易。祖逖虽然没有回信表示同意，但听任双方互市，使自己获得十倍的收获，于是官方和私人都富足起来，兵马也日益强壮。
正当祖逖准备渡河北进、完成统一大业之时，晋元帝听说祖逖在河南深得民心、屡建战功，害怕对自己的统治造成威胁，想派戴若思为都督兖豫雍冀并司六州军事、征西将军予以牵制，致使祖逖心中十分不快。他还听说朝中王敦、刘隗等人矛盾激化，拥兵自重，担心朝廷发生内乱，北伐不能成功，因而忧愤成疾。于是，他把家眷安排在汝南大木山下。当时中原的士大夫都认为祖逖应该进据武牢，纷纷劝阻他不应把家属安置在险要之处，但祖逖都没有听劝。
戴若思限制严格，使得祖逖志不得伸，又忧又愤。恰在这时，他闻听朝中群臣相争，日益激烈，更担心内乱再起，北伐半途而废。不久，便得了重病。在疾病缠绕中，祖逖仍致力于河南地区的防务。他亲自督建了北临黄河，西接成皋，规模巨大的武牢城（今河南荣阳北）；又督令在汝阳、汝南、新蔡等地筑垒设防。遗憾的是，工程还未完工，祖逖便旧病复发。九月间，他怀着满腔忧愤，死于雍丘营中，时年56岁。
刘琨
刘琨（270－317），东晋名将。字越石。中山魏昌（今河北无极）人。汉中山靖王刘胜的后代。刘琨身处乱世，屡建奇功，位极人臣，但终因无法自持，左依右附，死于乱中。
攀附权贵安定并州
刘琨年轻时俊逸清朗，雄健豪迈，为当地人所称赞。26岁时，任司隶从事。当时，征虏将军石崇在河南金谷洞建造了一座别墅，称为“金谷园”，他招宾客于此，赋诗饮酒，游戏作乐。刘琨是那里的常客之一，文章颇受他人称道。秘书监贾谧其时参预朝政，贾后一派独揽大权，京师人士对贾谧无不争相趋附。石崇、欧阳建、陆机、陆秀、刘琨等人均以文才称世，都对贾谧曲意逢迎，时人号称“二十四友”。刘琨后来被太尉高密王司马泰招为掾属，后迁着作郎、太学博士、尚书郎。
赵王司马伦执政以后，任命刘琨为记室，督转任从事中郎。司马伦之子娶刘琨姐姐之女为妻，司马伦也非常倚重刘氏父子兄弟。永宁元年（304），赵王司马伦篡位，刘琨为太子詹事。齐王等人起兵反抗司马伦，司马伦派刘琨及权臣孙秀之子孙会迎战，结果兵败而回。后来司马伦被杀，齐王司马冏辅政，不仅宽大处理了刘琨家，还封其为司徒左长史。齐王司马冏后来也失败下台，范阳王司马虓镇守许昌，招请刘琨担任司马。晋惠帝司马衷被劫持到长安，东海王司马越准备发兵迎驾。不料被刘乔率军击败，司马出逃，后与从汝南而来的刘琨会合共赴河北。刘琨说服冀州刺史将位置让给司马虓。同时又从幽州王浚处借得800骑兵，再次南下。不久，刘琨率破东平王司马楙，退刘乔，斩石超，降吕朗，然后与众人将晋惠帝司马衷从长安迎回。刘琨以功封广武侯，食邑2000户。
晋怀帝司马炽永嘉元年（307），刘琨出任并州刺史，加授振威将军，领匈奴中郎将。
刘琨去并州上任途中，不断遇到胡兵阻挡，只得一边抵抗一边前进，他上表朝廷说并州境内百姓困乏，流离失散，卖儿卖女，一路上都是携老扶弱，遍地白骨，还不时有胡人军队的出没。并请出朝廷出谷500万斛，绢500万匹，绵500万斤进行救助。朝廷答应了他的要求。当时，东赢公腾从晋阳移镇邺城，并州土地荒芜，百姓都跟随腾南下，余户不满2万。寇贼纵横，道路阻塞。刘琨招募到千余人，辗转作战至晋阳。见到此处官府、寺庙、房舍都被烧毁，僵尸遍地，剩下的人都饥饿得面无人色。到处是荆棘成林，豺狼满道。刘琨组织人翦除荆棘，收葬枯骸。建造房舍，开辟市场，修整监狱。盗寇来偷袭，经常使城门附近成为战场。百姓耕种时都带着武器，以便随时防寇。没有牛以人代耕。刘琨安抚慰问，很得民心。当时刘渊据守离石，距晋阳才300里左右。刘琨暗中派人离间其属下，有各族人近万投降刘琨，刘渊惧怕，迁都蒲子。刘琨在官不到一年，流人回来不少，鸡犬之声又如以前连绵不绝。刘琨的父亲也从洛阳去投奔他，各地人士到并州的大多归附于刘琨，但刘琨善于怀抚，而短于控制。一日之中，来者虽多，去者也不少。
刘琨生活奢侈，喜好声色，刚到并州时还能暂时控制自己，但情况稍好，就又放纵了。河南徐润善长音乐，刘琨很喜爱他，让他担任晋阳令。徐润后来又干预刘琨的政事。奋威护军令狐盛性正直，经常以此规劝刘琨，并劝刘琨杀徐润，刘琨不听。徐润诬陷令狐盛，刘琨丝毫不加详察就将令狐盛杀死。
令狐盛的儿子令狐泥投奔刘聪，并将刘琨的虚实泄露出去。刘聪大喜，以令狐泥为向导偷袭晋阳，太原太守高乔投降，杀死刘琨父母。刘琨马上联合猗卢回击刘聪并将其击败。猗卢认为刘聪一时还灭不了，便送给刘琨一些牛羊车马，留其将箕澹、段繁等屯戍晋阳协助刘琨。刘琨一心想复仇，但力量不足，遂移居阳邑城，招集亡散士卒，抚慰伤病之人。
兵伐石勒遭乱身死
313年，晋愍帝即位，拜刘琨为大将军，都督并州诸军事加散骑常侍假节。刘琨上疏言谢，并表示与刘聪势不两立。建兴三年（315），愍帝拜刘琨为司空，都督并、冀、幽三州诸军事。刘琨推掉司空一职，接受三都督之职，约期与猗卢共讨刘聪。但不久猗卢父子相残，猗卢及其侄猗根都因病逝世，部落四散，刘琨之子刘遵先前作为人质在猗卢处，颇得人心。猗卢部落四散，刘遵与箕澹等帅卢众3万人，马牛羊10万归附刘琨，刘琨威势再次振兴。
不久，石勒攻打乐平（今山西昔阳），乐平太守韩据向刘琨求救。刘琨认为自己势力已经壮大，准备趁此机会打仗立威，震慑石勒。箕澹认为部众新附难以驾驭，劝其不要出征。同时建议刘琨现在应当收购粮草、抄掠牛羊、发展生产、训练士卒，待条件成熟以后再率兵出战。刘琨拒绝采纳，发动自己的全部士兵，前去与石勒作战。石勒接到报告之后，迅速派兵占领险要地形，以逸待劳，设下伏兵。刘琨自投罗网，全军覆没，自己只率领少数人狼狈逃脱，并州地区震动。兵败势单，天旱人饥，刘琨只好去幽州投奔数次来信相邀的鲜卑首领段匹磾。段匹磾热情接待，与刘琨结为姻亲，约为兄弟，对他非常尊重。
建武元年（317），段匹磾推举刘琨为大都督，发信邀诸郡守率兵在襄国聚合，共同商讨攻打石勒。段匹磾的从弟末波因接受石勒的贿赂而故意拖延不肯发兵。刘琨与段匹磾感到兵力不足，于是停止了计划。同年，晋元帝任命刘琨为侍中、太尉，其余如旧，并赠名刀。刘琨表示一定亲自执刀杀勒、聪二虏。
段匹磾兄长去世，刘琨派儿子刘群护送段匹磾奔丧，遭到末波袭击，刘群被俘。末波厚待刘群，答应推琨为幽州刺史，共同攻击段匹磾，将刘群所写书信送给刘琨，约刘琨为内应，却被段匹磾截获。当时刘琨另驻扎于故征北府小城，不知道有此事，段匹磾与他见面并把书信给他看。
段匹磾一直敬重琨，最初并无害琨之心，准备让琨还营。其二弟叔军有智谋，平素为段匹磾所信。叔军对段匹磾说：“我们胡人所以能使晋人服从者，因为怕我们人多。现在我们骨肉相残，正是晋人图我们的良机。如果有人奉琨以起兵，我们全族都要灭亡。”段匹磾就把刘琨留住。刘琨之子刘遵害怕遭到杀害，便和刘琨左长史杨桥、并州治中如绥，闭门自守。段匹磾向他解释，刘遵不听，段匹磾下令攻打刘遵。刘琨部将龙季猛，因缺粮，就斩杨桥，如绥投降。最初刘琨离开晋阳，也考虑到段匹磾不一定可靠，企图以至诚来感动段匹磾。因此每次和部下见面时，都慷慨陈辞，诉说困境，准备随时和部下战死于于疆场，没想到竟为段匹磾所拘。自己知道必死，作五言诗以赠其别驾卢谌。
刘琨一向忠于晋室，素有极高威望。西晋朝野人士对刘琨被拘都表示极为愤慨，但谋救刘琨却遭失败。权臣王敦一向忌惮刘琨，他秘密派人前来，要段匹磾杀掉刘琨。段匹磾缢死刘琨，子侄四人同时遇害。刘琨时年仅48岁。东晋朝廷因段匹磾势力强大，准备借他消灭石勒，因此对刘琨的死未作任何反应。
太兴三年（320），晋元帝司马睿追赠刘琨为侍中、太尉，赐谥号曰“愍”。
