东晋的人祖逖年轻时，就怀有雄心壮志，喜欢结交英雄好汉。他和好朋友刘琨谈论天下大事，总是慷慨激昂，义愤满怀。他们互相鼓励，表示将来一定要为国家干一番大事业。
祖逖和刘琨同睡在一张床上，半夜时鸡叫头遍，祖逖就叫醒刘琨：“你听听，这鸡叫的声音多么激越昂扬，那是在叫人发愤图强呀！”他们两人兴奋得再也睡不着了，就披衣起床，拔剑起舞，强身健体，准备将来好为国出力。
在匈奴贵族刘渊、刘聪跃马横戈，驰骋北方，攻下洛阳的时候，祖逖也和别人一样，带着家属、亲戚、朋友，离开北方南下，到了江南。刚刚建立东晋政权的晋元帝，派祖逖做军谘祭酒。这种官职只能提提建议，没有军事实权。祖逖住在京口（今江苏省镇江市），为了准备恢复中原，他招集了许多勇敢而有胆识的壮士，练习武艺。过了一些时候祖逖向晋元帝建议说：“前朝的大乱，是由于皇族内部争权夺利，互相残杀，这才使得胡人乘机兴兵，扰乱中原，给北方人民带来深重的苦难。如今北方人民都在反抗胡人，假如陛下能下令出兵，派我北伐，必定会得到天下人的响应，国家的耻辱也就能洗雪了。”晋元帝虽然没有北伐的决心，但是祖逖这番义正词严的要求，是没有理由拒绝的，他只得派祖逖做奋威将军，兼任豫州牧，给了一千人的给养和三千匹布，让祖逖自己去招兵买马，制造武器，出师北伐。
祖逖不顾条件艰苦，带领亲信部属一百多人渡江，向北进发。等船开到江心，祖逖用佩剑敲着船桨，当众誓师说：“我祖逖如果不能肃清中原的敌人，决不再过这条大江！”祖逖这铿锵有力的誓言，在碧波浩淼的江面上久久回荡。
祖逖渡江以后，进驻江阳，先在那里起炉炼铁，制造武器，又招募了两千名壮士，然后继续向北进发。祖逖一刻也没有忘记自己的誓言，勇敢地跟敌军展开斗争。江北的人民听说祖逖北伐，都十分欢迎。他们给祖逖送粮送信，配合着打击敌人。在人民的支持下，几年之间，祖逖就收复了长江以北黄河以南的大部分地方。
祖逖领兵继续北进，在黄河边上跟石勒展开了激烈战斗。祖逖手下的将领韩潜和后赵将领桃豹，两军争夺一个叫蓬陂（今河南省开封市东南）的城堡。韩潜占了东城，住在东台；桃豹占了西城，住在西台。晋军从东门进出，后赵军从南门进出。双方对峙了四十多天，粮食供应发生困难，都感到难以坚持下去了。祖逖为了战胜对方，跟韩潜商量，定下了一条计策。
他叫部下用许多麻袋装上土，假装是粮食，派一千多人高唱着劳动号子运上东台；又派几个人搬运一些真的米袋，故意装做疲劳的样子，走到与桃豹交界的路上去休息。桃豹的士兵早就饿急了，见了运米的晋军，就追赶过来。祖逖的部下故意丢下米袋就跑。桃豹的士兵抢到米，很是高兴，立刻埋锅做饭。他们一边吃着香喷喷的米饭，一边谈论着祖逖军队粮食这样充足，而他们却要经常忍饥挨饿。言谈之间，不觉流露出不愿继续打下去的情绪，军心开始动摇。这情况很快反映到石勒那里。
为稳定军心，石勒火速派人组织了一支由一千多头驴子组成的运粮队，运送粮食去接济桃豹。祖逖得知这个消息，立刻派韩潜等带领一支人马去袭击，在汴水（今河南省中牟县境内）岸边，打败了后赵的运粮队，夺得了全部粮食。桃豹听说粮食被抢，知道无法坚持，吓得连夜逃跑了。
祖逖打了许多次胜仗，东晋朝廷为嘉奖他，升他为镇西将军。祖逖虽然做了将军，生活却仍然俭朴。他常常用节省下来的钱，帮助部下解决困难。他和将士们同甘共苦，认真训练部队，准备继续向黄河以北挺进。为了安定后方，祖逖还积极奖励农业生产，安排好从匈奴人和羯人统治地区逃来的官兵和百姓。他还认真做好争取人心的工作，对那些曾经为后赵做过事的人放手任用，不怀疑他们。那些人都很感激祖逖，遇到后赵的军队有什么动静，就赶快向祖逖报告，使祖逖能及早准备，迎头痛击敌人。
祖逖恢复中原的措施，得到了广大百姓的真诚拥护。同时也引起了东晋统治集团的猜忌。他们不仅不再支持祖逖继续前进，还派人去监视他，妄图夺他的兵权。晋元帝司马睿派尚书仆射戴渊做征西将军，掌管青、兖、豫、并、雍、冀六州的军务，坐镇合肥，来做祖逖的顶头上司，戴渊是南方人，虽然有些才能，名望也很高，可是为人气量狭小，见识浅陋，是个没有作为的人。祖逖看朝廷不信任自己，感到恢复中原是没有指望了，他的内心痛苦到了极点，愤恨到了极点。在大兴四年（321年）的九月间，祖逖在忧愤中病死了。
祖逖逝世的消息一传出，黄河南岸许多地方的人民伤心地放声痛哭。人们给祖逖建造祠堂，塑了他的像，表示对他永远怀念。
