刘玄到了洛阳，需要派一员亲近大将代表朝廷去河北一带，宣示朝廷旨意，要那里的郡国遵守朝廷的诏命。经过一番争议，选定了刘秀。
刘秀就以更始政权大司马的身份前往河北。刘秀在河北，每到一处，考察官吏，按其能力升降去取；平反冤狱，释放囚徒；废除王莽苛政，恢复汉朝的官吏名称。所做之事，均都顺应民心，因而官民喜悦。
当时的河北最大的势力是王朗，他自称是刘邦的后代，号召力很大，结果很快被刘秀消灭。消灭王朗以后，在清理缴获的文书档案时，发现官吏与王朗勾结一起毁谤刘秀的材料有几千份。如果追究起来，会引起一大批人逃跑或造反。刘秀根本连看也不看，把官吏们召集起来，当面一把火烧掉，真正起到了“令反叛者自安”的效果，使那些惴惴不安的人下定决心跟刘秀到底。
刘秀初到河北之时，兵少将寡，地方上各自为政，无人听他指挥，虽能“延揽英雄，务悦民心，立高祖之业”，但毕竟没有大量军队。他为王朗所追捕，曾多次陷入窘境。后来，他逐渐延揽了邓禹、冯异、寇恂、姚期、耿纯等人才，又假借当地起义军的名义招集人马，壮大声势，并联合信都、上谷、渔阳等地的官僚集团，才算站住了脚。由于他实行宽厚的政策，服人以德不以威，众人一旦归心，就较为稳定。
更始皇帝派使节赶到河北，封刘秀为萧王，并命令刘秀停止一切军事行动，与有功的将领赶到长安去。这表明刘玄已经对刘秀不放心，刘秀便以“河北未平”为理由，拒绝应征去长安。刘秀与刘玄的裂痕从此开始明朗。
刘秀认为“柔能制刚，弱能制强”，他多以宽柔的“德政”去收揽军心，很少以刑杀立威。公元24年秋天，刘秀调集各郡兵力，先后在馆陶(今山东馆陶县)、蒲阳(山名，在今河北省满城县)等地击破并收编了铜马、高潮、重连等农民起义军。刘秀知道被收编的将领对他半信半疑，心怀不安，就“封其渠帅为列侯”，下令投降的将领各归军营整顿自己的军队，自己一个人骑马来到铜马军营，帮他们一起操练军士。铜马将士议论说：“萧王如此推心置腹地相信我们，我们怎能不为他效命呢？”刘秀直到把军士操练好，才把他们分到各营。铜马义军受到刘秀的如此信任，都亲切地称他为“铜马帝”。由于收编铜马军，大大加强了刘秀的军事实力。
这时，以樊崇、逢安、徐宣等人为首的赤眉军，正迅猛地向长安进兵。刘秀认为争夺天下的时机已经到来，于是拉开争夺天下的架势，并将河北事务一一安排妥当，便带领军队回到冀中、冀北一带。一路上将领们纷纷请求刘秀称帝，刘秀开始外假惺惺地加以拒绝，将领们连劝了几次，刘秀这才有些动心，但还是有些犹豫不决。正当此时，有个名叫强华的儒生，捧着赤符从关中来见刘秀，说：“刘秀发兵捕不道，四夷云集龙斗野，四七之际火为主。”这句话的意思是说：“四七”是28，从公元前206年刘邦称帝至公元22年刘秀起兵是228年；火是指汉朝，按阴阳五行说汉朝属火德。这表明，刘秀乃“受命天子”，要再不做天子，那就不仅违背属望，也要违背天意了。刘秀得了天时又得人心，终于答应称帝，于是在公元25年称帝，重建大汉。
刘秀即位后，首先派兵攻占了五社津(在今河南巩县北)等要塞，然后下令包围洛阳，这时守洛阳的是李轶、朱鲔两人。这两个人都曾劝刘玄杀掉刘，是刘秀的仇人。李轶在刘秀大军的包围下，便来信说自己情愿归降。刘秀却把李轶的信交给太守、郡尉一级官吏传阅，消息很快被朱鲔知道了，他非常生气，于是派人刺杀了李轶，从而引起洛阳守军的混乱，士气也随之大落。刘秀一箭双雕，既分化瓦解了敌军，又借刀除掉了仇人。这时，刘秀又派原是朱鲔部下的岑彭劝朱鲔投降，并说：“干大事的人不计较小的怨恨。朱鲔要是现在投降，可以保住官爵，怎么会杀他的头呢？我对着面前的黄河发誓，绝不食言！”岑彭去见朱鲔，把刘秀的话说了一遍，朱鲔相信了，于是投降。刘秀大喜，任命朱鲔为平狄将军，并封他为扶沟侯。进入洛阳后，刘秀下令严禁军队暴横抢掠，结果将军萧广违犯军纪，纵兵横暴，被处死刑，使得洛阳百姓很快从内心归顺了刘秀。
这时，刘秀最大的对手，就只剩下赤眉一支起义军了。这赤眉军毕竟是一帮流寇，没有战略眼光，因而抢了一城、吃了一地，放弃一地。在流动过程中一路受到刘秀大军的追击阻截，损失惨重。公元27年，疲惫不堪的赤眉军在宜阳被刘秀亲率大军包围，拥有十余万人的赤眉军竟然一时不知所措，只得投降。刘秀下令给饥饿的投降士兵发放食物；又把他们集合起来，排列在洛水岸边，骄横地对樊崇等人说：“是不是对投降后悔啊？现在放你们各回军营，指挥你们的军队，和我决个胜负。我不想强迫你们服气。”吓得徐宣等人急忙叩头说：“我们出了长安，君臣就商量归降听命，只是手下愚昧无知，不能事先告诉他们。现在能够投降，就像走出虎口，回到慈母的怀抱，诚心诚意地欢喜，一点也不后悔。”刘秀哈哈大笑，说：“你可算是钝刀中的快刀，庸人中的能人了。”
平定赤眉后，刘秀又经过十几年的时间，才最终结束了群雄割据、山头林立、刘邦的后代割据一方称王称霸的局面，取得天下的统一。
