建武二十年秋，九月里伏波将军马援从交阯班师回京，从交阯带回一尊高三尺五寸、围四尺五寸的铜马，此马乃用在南方缴获的骆越铜鼓所铸，意义非凡。刘秀分外欢喜，将铜马立于宣德殿下。不出两月，因乌桓、匈奴屡次犯边，匈奴甚至频频袭击天水、扶风、上党各郡县，不断滋扰边塞百姓，马援再次主动请战，刘秀恩准。
马援出发时，刘秀命文武百官送行，据闻当时梁松、窦固二人在其列。
早年因为内乱，无论从军队兵力还是民生国情，刚刚建立的汉朝都不足以应付周边的少数民族，特别是匈奴。为此，刘秀采用的仍是忍辱负重的怀柔政策，建武六年，委派归德侯刘飒出使匈奴，馈赠大量金钱，当时匈奴单于对使者傲慢无礼，刘秀丝毫不动声色，待之如初。
到了十二年，留守五原的卢芳部下随昱归降了汉廷，逼得卢芳舍弃辎重，仅余十来骑人马逃入匈奴。卢芳的势力瓦解虽是好事，却也在某种程度上造成了北方各郡的汉军被迫与匈奴正面接触，兵戎相向。至那以后，匈奴向河东等地大举入侵，汉军的守军根本无力抵挡。
迫于匈奴南犯的强大压力，刘秀采取的措施是重兵设防，迁徙边民。
在较短的时间内，刘秀调集了大量的军队，在北方各郡构筑防线，这条向内地收缩的防御线贯穿了西河、渭桥、河上、安邑、太远、井陉、中山、邺城等地，绵延数千里——当时朝廷正分封功臣，以卸甲收兵权，但杜茂、马武、朱祜、马成、王常、王霸等人却仍驻防在在这道防御线上，抵挡外敌入侵。因为国家才刚刚收复江山，所以重心必须首要放置在恢复经济生产上面，而汉室兵力有限，实在无力控制广阔的边远地区，为此刘秀审时度势，采取退避三舍的防御战略，陆续放弃幽州、并州一部分土地，将那里的居民迁徙到内地居住。
马援驻守北方边境后，曾于建武二十一年秋率三千人主动向乌桓进攻，可惜无所收获。而辽东郡守祭肜，却打败了一万余鲜卑骑兵，这一仗直打得鲜卑再不敢靠近边塞。
这一年的冬天，匈奴再度袭击了上谷、中山两郡，马援率众誓死抵抗。
就在匈奴和汉频频发生摩擦和激战之际，西域各国却因为忍受不了莎车王的骚扰，而纷纷向汉廷求助。
西域位于大汉的西北方，对于汉廷而言，西域距离原本便隔得甚远，如今为了应付匈奴，更是放弃了北面的幽州、并州的一些土地，造成匈奴进一步深入。西域境内的车师前、鄯善、焉耆、精绝、龟兹等十八个小国惧怕被强大的莎车国吞并，于是期盼着中国能伸出援手。他们各自将自己的王子遣送到雒阳充当质子，表示只要中国肯出兵，在西域设置都护府，使得莎车国不敢再在西域称王称霸，有妄动之念，那他们便愿意从此向中国俯首称臣。
