卫、霍的寂寞事，在他们的生前已经露出了苗头。
“独不见卫子夫，霸天下”，这首歌谣，说明长安人断定卫氏的贵显，全仗卫皇后一人。据说，卫青听到这首歌谣后也觉得不错，未尝相怪，说明他也表示认可。当然，事实并非全部如此，因为在当时提供的同样的战争平台上，有的人就建树不多，卫、霍不仅素无败绩，而且战功赫赫，说明他们的军事才能毕竟突出。但是，毋庸讳言，他们的进身毕竟也靠了卫皇后的石榴裙。
无如妇人得宠，全靠姿色，一到中年，人老珠黄，色衰爱弛，谁都逃不出这个规律。卫皇后为武帝生了三女一男，渐渐地改变了娇容，就是她讨武帝喜欢的那头黑发，也居然脱落了一半。在武帝的眼中，她已经纯然是一个老妪了。武帝便又宠爱了一位王夫人。这位王夫人出身赵地，色艺动人。自从入选宫中被召幸后，也为武帝产下一男，取名刘闳。这就使得卫皇后的宠幸，大不如前。卫氏一门，也似乎岌岌可危。
这个趋势，当时的旁观者也都看出来了。有一个方士就进策卫青，与决安危。这个方士，就是齐人宁乘。他本来是武帝为求仙征召来京的，却多日不得召见，弄得资用乏绝，衣履不全。有一天，他在都门踯躅，正值卫青自公退食。他大胆地迎上前去，说有要事求见。卫青为人历来平和，见有人拦车，也就停车动问。宁乘行过了礼，回答说事须密谈，不便率然直陈。卫青当即邀他入府，屏去左右。宁乘才说道：“大将军身食万户，三子封侯，可谓位及人臣，当朝无两了。但物极必反，高且益危，大将军对此是否有所考虑？”卫青被他提醒，便皱着眉头说：“我平时也曾虑及此事，不知君将何以教我？”宁乘便说：“大将军得此尊荣，并非全靠战功。今卫皇后原是无恙，王夫人已经大为见幸。她有老母在京城之中，未邀封赏。大将军何不先赠礼金，预结欢心！多一内援，便多一保障，此后方可无虑了。”卫青深以为然，当即取出五百金，遣人赍赠王夫人母亲，又留宁乘寓居府中。
王夫人的母亲得了厚赠，自然告知王夫人，王夫人又转告武帝。武帝当然高兴，但一细想，卫青素来老实，为何无故想到赠金？在卫青入朝的时候，他便问及此事。卫青果然和盘托出，道：“宁乘谓王夫人之母尚无封赏，未免缺用，故臣特赍送五百金，并无别的意思。”武帝问宁乘何在，卫青答现在府中。武帝当即召见，拜为东海都尉。
应该说，卫皇后的失宠，仅仅是因为年老色衰。武帝对卫氏家族依然宠信有加。不仅霍去病、卫青死时，武帝大加悲悼，就是霍去病之子霍子侯在陪武帝东巡途中感冒风寒暴死后，武帝也悲悼异常，厚加赙殓，饬人送柩回京。短命的王夫人临死时以子相托，武帝丝毫也没有废去卫皇后所生子太子刘据的意思，只答应封王夫人所生子刘闳为齐王，王夫人也很满足。
卫皇后的悲惨结局，尤其是卫氏家族的败落，除了自身的某些原因以外，纯粹是因为戾太子刘据一案。
武帝晚年一心追求长生不老，尤其信用方士，无论男女巫觋，都辗转引进宫廷。故家贵戚，也多有巫觋往来。长安城中，一时间几乎变作了鬼迷世界。官场上也将巫蛊作为置政敌于死地的最有效的手段。首先因此而倒台的，就是丞相公孙贺。公孙贺的夫人，就是卫皇后的胞姊，其子公孙敬声，居官太仆，自恃为皇后姨甥，骄淫无度，竟然擅自动用北军钱一千九百万，被捕系狱中。公孙贺上书武帝，愿缉捕阳陵侠盗朱安世，为子赎罪，得到武帝应允。朱安世被捕，笑着说道：“丞相要想害我，恐怕他自己也要灭门了！”遂从狱中上书，告发丞相之子公孙敬声，与阳石公主私通，且使巫祷祭祠中，诅咒朝廷，又在甘泉宫驰道旁，瘗埋木偶等事。武帝览书大怒，立命拿下公孙贺，并把阳石公主连坐在内，交廷尉杜周讯办。杜周本来就是酷吏，乐得罗织深文，牵藤攀蔓。阳石公主与诸邑公主为姊妹行，诸邑公主是卫皇后所生，与已被坐罪夺封的卫青长子卫伉为中表亲，免不得有些怨言。杜周将以上诸人全部罗入，并皆论罪。结果，公孙贺父子皆毙狱中，卫伉被杀，两公主奉诏自尽。《汉书》卷六十六《公孙贺传》。
武帝寿将七十，但生性好色，到老不改，无奈旦旦伐性，精神俱敝，夜来常做噩梦。公孙贺得罪，殃及二女，更觉得心神不宁。一日，他在宫中昼寝，梦见无数木人，持杖进击，顿时吓出一身冷汗，突然惊醒，醒后尚觉心惊肉跳。刚好水衡都尉江充入内问安，武帝说到梦中情景，江充说是巫蛊为祟，武帝遂命江充随时查办。江充遂借端引用几个胡巫，专至官民住处，掘地捕蛊，一得木偶，便不论贵贱，一律捕到，勒令招供。其实他所掘出的木偶，全是他教胡巫预先埋好的，官民不知底细，从何供起？江充就令左右烧红铁钳，烙他们的手足身体。严刑逼供，何供不得？一班无辜官民，横遭陷害。先后受戮的，已至数万人。《汉书》卷四十五《江充传》，此下所述江充事，并见此传。
这时，太子刘据已经长大成人。他性情忠厚，平时遇有大狱，往往代为平反，所以深得众心。武帝开始对他很钟爱，后来见他才具平庸，也就不太满意了。尤其是卫皇后失宠后，对他更为冷淡。还是卫皇后素性谨慎，屡次告诫太子秉承父皇之意，所以一时还不致被废。等到江充用事，弹劾太子家人乘坐车马，行驰甘泉宫驰道中，太子已很生气。尤其是对江充以巫蛊案牵连多人，更为不满。江充担心一旦武帝晏驾，太子嗣位，自己就不免被诛，便想着先除掉太子，免留后患。
江充与黄门郎苏文一同构陷太子。太子曾经入宫进谒母后，移日方出。苏文即向武帝进谗道：“太子终日在宫中，想是与宫人嬉戏哩！”武帝并不做声，特拨给东宫二百妇女。太子心知有异，经仔细探察，才知是苏文所谗，更加小心。苏文又与小黄门常融、王弼等，暗中寻构太子过失，以便再进谗言。卫皇后切齿痛恨，屡嘱太子当面向武帝述冤，请诛谗贼。这是最妥善的办法，可太子却怕为此而惹得武帝厌烦，又坚信自己清白，不怕别人进谗。不久，武帝有疾，使常融往召太子，常融回来即向武帝说太子面有喜色。等到太子进宫探视，武帝见他面带泪痕，笑语勉强，才知道常融平时说的都是假话，遂将其推出斩首。苏文没有达到目的，反而断送了一个爪牙，便告知江充。江充暗使胡巫檀何谎称宫中有蛊气隐伏，导致陛下患疾。江充请武帝到甘泉宫养病。武帝临行时，使按道侯韩说、御史章赣、黄门苏文以及胡巫，协助江充入宫究治。
江充奉旨入宫，随地搜掘。别处搜出木人有限，独皇后太子两宫中搜出甚多，在太子处更搜出帛书，语多悖逆。江充作为证据，趋出东宫，扬言要奏闻主上。太子并未埋藏木人帛书，心知有人陷害，但没有想到要亲赴甘泉宫，当面向武帝申明情况。事急心慌，忙召少傅石德问计。石德深知事态严重，献议道：“前丞相父子与两公主、卫伉等，皆坐次被诛。今日之事，殿下也难以辩明。为今日计，不如收捕江充，穷治奸诈，再作计较。”太子很惊异，问：“江充是奉诏而来，怎能擅加捕系？”石德道：“主上正养病甘泉，不能理事，奸臣才敢大胆妄为。若不及早动手，难道还想重蹈扶苏的覆辙么？”太子本来就对江充恨之入骨，被石德一逼，也就顾不得许多了，当即假传圣旨，征调武士，收捕江充。江充正在得意，毫无提防，与胡巫俱被捉住。韩说稍作抵抗，也被杀死。苏文、章赣则乘隙逃往甘泉宫。
太子坐镇东宫，江充、檀何不多时被押来。他一见江充，气得眼中冒火，破口大骂，当即喝令斩首，又命将檀何押至上林烧死。便使舍人持节入未央宫，通报卫皇后。又征发中厩车马，武库兵械，载运长乐宫卫士，守备宫门。
苏文等奔入甘泉宫，奏言太子造反，擅捕江充。武帝倒还清醒，说道：“太子因宫内掘发木偶，定然迁怒江充，我当召他问明底细便了。”这说明为太子计，一开始最妥善的办法，就是当面向武帝剖白心迹。可惜他没有这样做，召他的侍臣受苏文暗示，在外边胡乱转了一圈，就回来谎报太子不肯前来。
武帝大怒，即令丞相刘屈调集人马，往捕太子。太子也矫诏，尽赦都中囚徒拒敌。两军在长安城中战了三天三夜，第四日有人声传御驾已到建章宫，众人才知太子矫诏弄兵。太子挈着两男，仓皇逃出覆盎门。武帝遣宗正刘长、执金吾刘敢，收取卫皇后玺绶。
卫皇后交出玺绶，不由得回想起在平阳公主家的那一幕，入宫以来的一幕又一幕，自己的兄弟甥侄为刘氏的浴血奋战，享受的安富尊荣，后来一个个的悲惨下场，酸甜苦辣，诸般滋味一齐涌上心头，她直感到人生如闹剧，富贵如泡影，又何苦为此再向人俯首低眉呢？她真后悔，当初还不如被发放回平阳公主家，仍旧做自己的歌女去，那虽然没有后来的富贵荣华，却能活得平平安安。但是，她醒悟得太迟了，天下并没有后悔药。她只有大哭一场，投缳毕命。卫氏家族，当初跟着荣升，现在也悉数坐罪。就是太子妃妾，无路可逃，也一并自尽。
武帝平息了长安城中的这场动乱，依然怒不可解。群臣噤若寒蝉，只有壶关三老令狐茂冒死上书，揭露江充当初谗杀赵太子，今又构衅青宫，造饰奸诈，太子进退维谷，起而杀掉江充。武帝不察，举大兵而求，以至大乱。希望武帝亟罢甲兵，勿令太子久亡，致堕奸人狡计。武帝稍稍感悟，却并未明赦太子。
太子出走到湖县，匿居在泉鸠里一贫户人家，欲投一故友避难，结果走漏风声，新安令李寿率领干役，前往搜捕。太子眼见已无出路，便闭门自缢，两个幼子拦门拒捕，结果同归于尽。
武帝后来察知实情，又经高寝郎车千秋上书申明太子冤情，才自悔前时冒失，误杀子孙。于是，诏令诛灭江充家族，把祸首苏文推至横桥上面，绑在桥柱上，纵火烧死。下令在湖县筑起思子宫和归来望思台，遥致对子孙的哀忱。
武帝一生内外经营，南征北讨，将刘邦建立的家天下搞得红红火火，无非是为子孙打造万世基业，却亲手杀掉了一个个嫡亲的儿女子孙，连一个普通百姓的天伦之乐，他都没有享受到。
贵为天子，身为雄主，却晚境凄凉，形影相吊。
可叹！可悲！
