卫青，字仲卿。他的母亲叫卫媪，与本来的夫君生有一男三女：长子卫长君，长女卫君孺，次女卫少儿，三女卫子夫。
曹时，曹参之曾孙，他的妻子为武帝的姐姐阳信长公主。因夫君为平阳侯，故阳信长公主又称平阳公主。
郑季，河东平阳（今山西临汾市西南）人，本为一县吏，奉命前往平阳侯府做事。卫媪其时为府上的奴婢，虽已生了一男三女，但风韵犹存，平日里与这郑季免不了要打交道。一来二去，接触多了，两人不免日久生情。有一天，互相吸引的两人没有发乎情止于礼，而是迈出了那一步，有了私情，不久，卫媪怀孕了。十月怀胎之后，卫媪生下了一个男婴，这个人就是卫青。卫青出生不久，郑季的差事结束了，便返回原籍。
作为侯府的一个家僮，卫媪的腰包肯定是不鼓的，要养育二男三女，委实不容易，生活可谓相当艰苦。不得已，卫媪将卫青送到了郑季家中，要求他尽一个父亲的职责。可问题在于，卫青乃一私生子，如何会受郑家人正眼看待。郑季正妻的态度自不必说；便是郑季本人，见了卫青，也无多少好话，只是命他日日牧羊；而其他同父异母的兄弟，对待卫青，就好像使唤奴婢一样，根本不将他当兄弟看。年长一些后，卫青不愿再受郑家人的奴役，便回到母亲身边，做了平阳公主府上的一个骑奴，日子虽然仍旧不充裕，但好歹安稳了不少。
卫青兢兢业业，将所管辖的马都养得很肥壮。有一次，平阳公主见了，很是惊异，便生平第一次认真地看了卫青一眼，见其虽衣衫破烂，但容貌壮伟，目光锐利，更是惊奇，冲他嫣然一笑，夸奖了几句。卫青自是受宠若惊。
公主一夸奖，效果立竿见影。此后，卫青的活动范围不再局限于侯府，得以扩大。有一天，他跟随人去甘泉宫内的甘泉居室令的官署，差事办完后，在小范围内活动了一下，恰巧在宫内服役的一钳徒从跟前走过。这人见了卫青的相貌，大为惊异，叹道：“这是贵人的面相啊，足下必定官至封侯。”卫青只当这人拿自己寻开心，如何肯信，笑道：“我不过是一个微不足道的人奴之子罢了，这一生只求免遭笞骂便已相当满足了。如何敢奢谈封侯之事呢？”
这人正色道：“我虽然是个囚徒，但相人却从未出错。足下的面相，确实贵不可言。”卫青还是不信，摆手笑道：“足下的美言，我心领了。”正欲转身离去。那人忙拉住了他，郑重地说：“足下莫不信！倘若我的话日后得以灵验，你当如何？”卫青随口道：“如果你说的是真的，我一定会报答你的。”这人听了，喜笑颜开，松了手，作揖道：“足下莫让忘了今日之诺啊。”说完便离去了。卫青看着他的背影，心里发笑，想道：“于我而言，封侯拜相，还不知道是哪辈子的事呢？”摇了摇头，也径直走了……
然而，这好运说来就真的来了，挡都挡不住；当然，好运到来之前，是要先吃些苦头的。建元二年（公元前139年）春，被武帝看中的卫子夫被带入了宫中。不想却是备受冷落。建元三年，武帝终于想起了卫子夫，便再次临幸了她。不久，卫子夫怀孕了。母以子贵。卫子夫怀了龙种，武帝自是高兴，待她很是恩宠，这还不算，连带她的家人，都得到了好处。卫青则由平阳公主府上的一个骑奴，升迁为建章宫一个有名分的侍卫。从一个奴隶到一个皇宫侍卫，这可谓跨越了人生的一大步，虽然原由不甚光彩，不过事实将证明，这是历史上最有价值的裙带关系。
这一年，霍去病近三岁了。他的父亲叫霍中孺，也是河东平阳人，曾以县吏的身份被派到平阳侯家当差。这期中，卫青的二姐卫少儿与霍中孺对上眼了，也是十月怀胎之后，卫少儿生下了霍去病。然而，霍中孺完成任务之后，径直回家，估计以前的山盟海誓早忘却了，便另外娶妻，生子霍光，从此与卫少儿不再来往。卫少儿那个恨呀，自此在霍去病面前绝口不提霍中孺，是以很长一段时间霍去病都不知自己的生父是谁。
待卫子夫得宠之后，卫少儿也得以翻身，不再是地位低下的侍女了，是以霍去病的待遇也变好了，再无人敢当面辱骂他是私生子了，生活也不再窘迫了。事实也将证明，这也是历史上极其有价值的裙带关系。
