东汉持戟青铜骑士俑出行仪仗东汉初年，匈奴势力有所发展，经常侵扰汉朝边境。但那时光武帝忙于进行统一全国的战争，无暇顾及北方边境。公元33年，光武帝派大司马吴汉领兵征讨。但吴汉带领汉军与匈奴打了好几年，也没打出什么结果。匈奴人从此变本加厉，更加狂妄起来。汉朝北部边境没有一年宁静过。
公元48年，匈奴部族内部因为继承人的问题而发生了分裂，又逢连年干旱，蝗虫成灾，整个匈奴地区赤地千里，人畜死亡过半。后来，匈奴南边八个部落共同推选比为南单于，并向汉朝祈求庇护，表示愿意永远为汉朝守卫边疆的土地，与汉朝共同抵御北方的敌人。光武帝接受了比的归附。从此，匈奴分裂成了南匈奴和北匈奴。东汉王朝为了与南匈奴和平共处，经常把一些财物、粮食和牛羊等赠给南匈奴，每年为他们提供的财物总数多达一亿多钱。
汉明帝在位期间，北匈奴日益强盛。它不时攻打南匈奴，侵扰汉朝边境。公元72年，汉明帝派窦固反击北匈奴，使北匈奴有所收敛。
公元89年，汉朝对北匈奴进行了大规模进攻，给北匈奴以摧毁性打击。汉和帝派出车骑将军窦宪、征西将军耿秉各率4000骑兵，调集南匈奴军队、边境驻军以及羌人军队在稽落山（今蒙古共和国西南）大破北匈奴军队。北匈奴81个部落共20余万人投降。窦宪的军队出塞1500公里，一直抵达燕然山（今蒙古共和国杭爱山）。第二年，南匈奴与北匈奴再次爆发战争，北匈奴战败。窦宪认为趁现在北匈奴国力衰弱，应该把他们消灭掉。于是，他派耿夔、赵博带兵进攻，把北匈奴包围在金微山，北匈奴单于逃走，北匈奴由此消亡。
从此以后，北匈奴部分归附了汉朝，部分归附了鲜卑族，还有一部分战败后离开了中国境内的蒙古高原，走上了遥远的西迁路程。匈奴东面的鲜卑族逐步西进，占据了匈奴原来的地方。
