自贰师将军李广利部全军覆没后，汉廷折了一位大将及数万士卒，可谓损失惨重，因而此后武帝不复出兵攻打匈奴。而汉兵深入穷追二十余年，弄得匈奴的牲畜都不安生了，其人则更是疲惫、苦楚，是以自单于以下都希望能与汉廷和亲，重新开始以前友好相处的岁月。
后元二年（公元前87年），一代雄主汉武大帝病逝。三年之后，也就是始元二年（公元前85年），狐鹿姑单于欲求和亲，却不巧刚好生了大病，不久便去世了。单于有一个异母弟弟，任职左大都尉，素有贤名，匈奴人都很钦佩他。单于的母亲怕单于不立儿子而改立左大都尉，便私自派人去刺杀左大都尉。得亏左大都尉贤明，有人乐意为他通风报信，这才逃过一劫。此后左大都尉与单于及其母亲结怨，再也不肯踏足单于庭一步。当然，在狐鹿姑单于的心里，左大都尉也被踢出了继承人的行列。病逝之前，单于对匈奴的贵人们说：“我的儿子还太小，不能治理国家，可立我的弟弟右谷蠡王为单于。”待单于病逝后，卫律等人与颛渠阏氏合谋，隐瞒单于的死讯，诈传单于的命令，与匈奴贵人们饮酒盟誓，改立颛渠阏氏的儿子左谷蠡王为壶衍鞑单于。
壶衍鞮单于继位后，委婉地暗示汉使，想与汉廷和亲。这时，匈奴左贤王、右谷蠡王因未能继承单于之位，心怀怨恨，便联合起来，想率众南下归汉，但又怕路途过于遥远，以致不能成功。于是他们胁迫卢屠王，商议一起西去投降乌孙，然后再图谋攻击壶衍鞮单于。卢屠王惶恐，嘴上答应得好好的，一转身就把二人告了。壶衍鞮单于派人前来查问。右谷蠡王不承认，说没有这回事，又说是卢屠王有意诬告他们两人。于是单于处罚了卢屠王，但大多数匈奴人都认为他很冤枉。其实，壶衍鞮单于也猜得八九不离十，也很想处罚左贤王和右谷蠡王，但转念一想，自己确实得位不正，也难怪他们有二心，为避免引起更大的分裂，以致匈奴实力受损，那么，就只能委屈一下卢屠王了。
此后，左贤王和右谷蠡王各居其所，都再也不肯到单于的龙城去了。
二年后的秋天，匈奴人侵入代郡，攻杀了都尉。此时的汉廷，在昭帝的治理下，正逐步走上正轨。而壶衍鞮单于年少，又继位不久，他的母亲行为不正，国内人心涣散，因而常害怕汉军乘机前来攻袭。于是卫律为单于谋道：“挖凿水井，修筑城池，盖高楼用来藏储谷物，我们的人与归顺匈奴的中原人一起守卫。如此则汉军即使攻来，对我们也无可奈何。”单于点头同意了。凿井数百，伐木数千，正干得热火朝天的时候，有人泼冷水说：匈奴人不擅长固守城池，若筑城固守，则无异于将粮食馈送给汉军。卫律来自汉廷，知晓双方的长处与短处，想了一下，觉得有道理，便停止了筑城行动。
壶衍鞮单于便问他还有何方略。卫律回答说，若不想与汉军抗拒，那不如与汉廷交好，为以示诚意，可放归不肯投降的汉使如苏武、马宏等人。这马宏以前与副光禄大夫王忠一起出使西域，途中为匈奴人所拦截；王忠战死了，马宏被活捉，也不肯投降。
单于听了卫律的建议后，欣然应允，便放这二人回去，想让他们带去匈奴和解的好意。这一年乃始元六年（公元前81年），单于继位已三年了。
元凤元年（公元前80年），壶衍鞮单于派发左右部二万骑，编为四队，一起入侵汉境。昭帝令汉军还击。双方又展开大战。汉军边追边击，斩首获虏达九千人，并活捉了瓯脱王，己方却没有什么大的损失。壶衍鞮单于见瓯脱王被俘，担心汉军会让他引路前来攻袭匈奴，便率部向西北远远地迁徙，不敢令人随水草而南下放牧，并派人在瓯脱驻防。
元凤二年，单于派九千骑屯戍受降城，以防备汉军；又令人在北边的余吾水上架桥，使人可以轻易过河，以预备在危急的时候可以顺利撤退。这个时候，卫律已经逝世。他活着的时候，常言和亲之利，匈奴人不信；待其逝世后，匈奴军队多次被围困，国家更加贫穷，因而越来越多的人开始相信卫律所说的话。
单于的弟弟左谷蠡王就是其中一个，他忆思卫律之言，觉得很有道理，便想与汉廷和亲，却又担心汉廷不肯，所以自己不愿主动提出，以免丢失面子，但经常让身边的人旁敲侧击，与汉使谈论此事。此后左谷蠡王部对汉廷边境的侵扰更少了，对待汉使也更礼遇优厚，他想以此慢慢地改善与汉廷的关系，最终达到和亲的目的。汉廷感受到了他的善意，便对其采取怀柔之策。可惜天不假年，不久，左谷蠡王便去世了。
次年，壶衍鞮单于令犁汗王偷偷探边。犁汗王回来报告说：驻守在酒泉、张掖的汉军更薄弱了，如果派军队去攻击，也许有希望收复这些地方。单于认同他的看法，便令人速做准备。可巧汉军得到了匈奴降者，从其口中知道了单于的计谋，于是昭帝令边军严加戒备。
