霍氏知阴谋被泄，越觉惊慌。霍山等先后走到一齐讨论说：“我们原来的计划不能实现了，县官得到我们的行动方案后，他会控制太后的。所以通过太后来废宣帝的事不用再提了。现在我们已被朝廷嫌疑，且有毒死许后一案在逼。一旦两案具发我们必致族诛了，今不如先发制人较为得计。”因此首先使诸女各级夫婿劝他一同起事，各婿家也恐连坐表示情愿如约。这时又有消息传来说霍云的舅舅李毫因与诸侯王私相往来，而得罪朝廷被拘，寻与霍氏相连。因此又有诏令霍云霍山免官就第。至此霍氏越致失势，只有霍禹一人尚入朝力事。百官对着霍禹已不像以前那样敬礼，并且被宣帝当面责问说霍家女入谒长信宫何故无礼，霍家奴冯子都等何故不法。问得霍禹头汗直淋，勉强免冠谢罪了退朝回来，告知霍显以下等人，胆小的都吓得发抖，胆大的越激动邪心。霍显忐忑不安，夜间梦见霍光对她说：“你知道儿子被捕了么？”霍禹也梦听见车马声前来拿人。母子清晨起床就互述梦境，并绵担忧，还是种种怪异不可究洁。
地节四年（前66）春月，宣帝求得外祖母王媪及母舅无故与武，当即称王媪为博平君，封无故为平昌侯，武为昌乐侯。许史以外又多了王门贵戚，顿时使得霍家人的相貌和表情都非常难看了。日夜烦愁的霍山独怨恨魏相在其中搞鬼。霍禹和霍云却不同意他的说法。因此得另设一计：要使上官太后邀请博平君王媪并召入丞相魏相和平恩侯许广汉等。令范明友、邓广汉引兵突入承刺处斩，趁势废去宣帝，立霍禹为天子。这才是彻底解决问题的措施，计议已定，但尚未举行，可是宣帝已颁出诏令，霍云为玄菟，太守任宣为代郡太守，接连又发觉霍山过恶，系是擅写私书应该坐罪。这不如意的事情纷纷来至。霍显只好首先替霍山解免，愿献城西第宅，并马千匹，为山赎罪。此书缮成已托人带入朝廷，但尚未报告。那知，张章又探得霍禹等逆谋杀相废主，便往告期间（官名）董忠。忠转告左曹扬恽，恽又转达侍中金安上，金安上系前亲骑将军金日从子。方得宣帝主宠。固立即奏报了宣帝，且与侍中史高同时献议，请禁霍氏家族出入宫廷。侍中金赏为日碑次子，曾娶霍光女为妻，一闻此信，慌忙入奏愿与霍女离婚。
宣帝不然再容，当即派吏四出，凡霍氏家族亲戚一体拿办。范明友先得闻风，驰至霍山、云家内报知祸事。山、云一听魂胆飞扬，正在设法摆布，便又有家奴抢入道：“太夫人第宅已被吏役围住了！”山知不能免，取毒先服，云与明友次第服下，待至捕役到门，已经毒发薨命，唯搜得妻妾子弟上枷牵去，那霍显母子未得预闻，竟被拘至狱中，讯出真情，禹受腰斩，显亦遭诛。所有霍氏诸女及女婿、子婿悉数处死。甚至近亲疏亲戚辗转连坐诛夭不下千家。霍氏家奴冯子都、王子方等当然也做了刀下鬼。惟金贵已经去妻幸免株连。霍后坐此也被废，徙居胜后宫。金安上等告逆有功，俱待加封。安上封都成侯，杨恽受封平通侯，董忠封高昌侯，张章封傅成侯，侍中父高也得受封乐陵侯。
关于霍氏家族阴谋行径早在本始年间就有茂陵人徐福觉察而上书宣帝。而宣帝视为平凡。致三次上书，宣帝也只不过批发“闻知”二字。至今霍家果验得祸灭族，朝廷于有功人员予以厚赏，独无徐福。有人为之不平，还代为上书。宣帝览书阅后，但令左右取帛十匹颁赐徐福，后来总算召福为郎。
当时朝廷上下众所周知，霍氏祸胎起自本始二年，结于地节四年，历时七年之久，其实宣帝早已阴蓄猜疑，只是一时不好下手，所以逆一发，便令灭族。
但霍光辅政廿余年，尽忠汉室。宣帝得立，虽由丙吉倡议，终究由霍光决定方才迎入，前必为顾命大臣，后为定策元勋，介义私情，两端兼尽。只是那悍妻骄子，而不善训动，弑后一案隐忍不发，这是霍光一大错。
宣帝隐忌霍光，诉早令归政。或待至霍后不使霍子弟蟠踞朝廷，或放至都外侍奉朝请也是隐抑霍光，使子弟们无从谋逆，霍显心也不那么雄壮，何况徐福早就提醒过。为何导致始则滥赏，后来则滥刑连坐千家，血流都市的结局。使之扬名全国尽忠辅汉的霍光却落得个绝代无人继祀的下场。甚至连一相拥相偎的霍后，也废锢冷宫，尚不能容。过了十有二年复将她逐锢弓林馆，迫令自杀，这也是宣帝处置失策，残到寡恩。
宣帝既诛灭霍家，并牵连了好多人，后来至昭帝庙行秋季祭礼。行至途中，前驱骑士有佩剑出鞘坠地插泥怪象。推卜是有兵谋窃发，到了庙中，果然查获刺客“任章”是前大中大夫任宣子。宣因霍案株死，其子章当时逃跑未获，现来报仇。宣帝幸得免不测。
追寻幼时养育恩
自霍光谢世，霍显罪行败露至霍氏诛灭后，宣帝勤政息民，课吏求治。最信任的大员一是卫将军张安世，一是丞相魏相。霍氏诛灭，魏相参议有功，张安世小心谨慎，无论什么事情都不违背朝廷意志，他没有参与计谋霍氏，且有孙女名字叫做敬的是霍氏的亲戚，至霍氏诛族安世恐到连坐，尚局促不安，累得额颜憔悴，身体衰弱。这一情形宣帝得知后，特下诏赦免安世的女孙，免致株连安世才放心。
张贺时已病故，宣帝追怀旧惠，问及安世，才知道张贺儿子亦亡，只遗下孤孙年甫六岁，取名为霸。张贺在世时尝将安世季男彭祖养为嗣子。彭祖曾与同熟读书，因此宣帝询明底细，先封彭祖为关内侯。安世入朝因辞。宣帝说我只为着掖庭令，与将军无关。安世才告退。宣帝又欲追封张贺为恩德侯，并置守家二百家。张安世又表示要辞去对其兄的追封，并且请求减去守冢的册户，宣帝总算依议，亲定守冢地点。
过了一段时间，宣帝的余怀尚未忘去，他还自思不足报德。便于次年硬是下诏赐封张贺为阳都侯，令关内侯彭祖袭爵。拜张贺孙张霸为车骑中郎将，赐爵关内侯，食邑三百户。张霸年幼体弱，虽予禄秩，但不使任事。张安世因为父子封侯，名位太高，所以他又将辞去奉禄。张安世持身节俭，妻虽贵显，还常自己纺织，绩累粗穿，积钱数有上百万。家童有七百人，但皆安排他们经营农工商，从事各种产业。张安世富孚胜过霍氏。不过张安世约束子弟格外严格，终得传遗数世，不致速亡。
且说御史大夫丙吉，本来就是与张贺同时保护着宣帝。论起当时的德惠，张贺还不及丙吉。只因吉为人深厚，绝口不念前恩。宣帝自幼出狱尚是在无知识，这一段时间应记及养生的张贺。但是真正救死的还算是丙吉，当时有一女子名字叫做一个“侧”字，是一个掖庭宫婢，抱养过宣帝。后来嫁了一民夫，宣帝登基后，她的丈夫曾上书自谏前功。但宣帝全然忘记，头脑里没有一点印象，故交掖庭查证。经查讯后得知当时的情况，只有御史大夫丙吉才清楚，掖庭令只好带“则”到丙吉处验明。丙吉见到“则”后面貌尚然相识，但说起前事时，便指责“则”事诚不虚，尚对宣帝保养不谨，经常受到他（吉）的督责，今天怎么能够称得上自己有功呢？真正养护宣帝有功的还算一个姓胡的渭城人和一个姓赵的淮阳人。掖庭令乃转告宣帝，宣帝再召问丙吉，吉才谦叙述胡赵两妇保养宣帝的情状，当下传诏至渭城、淮阳之禄。结果两妇均已俱亡，只有子孙尚存，也得蒙厚赏。“则”虽未及两妇辛勤，总觉得前有微劳，也特赐钱十万，豁免掖庭差役，并将“则”召入细问，“则”将丙吉以前照顾宣帝事一一表白。宣帝方知丙吉有大恩，待“则”回去后，宣帝封丙吉为博阳侯，食邑千三百户。并将许史两家子弟，如史曾、史去（史恭子）、许舜、许延等（广汉弟）曾与宣帝关系亲旧一体封侯。就是少时朋友及郡中曾充工役的人也是各给官禄田宅、财物，以谢前恩。
第二次继后的册立
霍后因霍家案被废昭台宫，之后为了立后问题几踌躇了许久。当时后宫妃嫔共有数人得宠，第一个要数张氏生子名钦，次为卫氏生子名吕，又次为公孙氏，生子名宇，另外还有华氏，但生一女。宣帝本想立张氏为继后，但转思有儿子，若怀私意便与霍氏无二，现太子奭恐又难保，想来想去还是下了个决心，择一无子的宫妃使登后位，拣来拣去还是长陵王奉先的女儿合适。她入宫有年，并已拜婕妤，可令她作为继后，并代替母亲以养太子。
奉先女十余岁时，颇具三分姿色，只生就一个怪命，说来也是好笑。她许字了二三家人家，往往克死未婚夫。到了宣帝嗣诈，此女还是没有许字于人。宣帝听说便命人把她召入后宫，立命侍寝。赐过几番雨露，王女幸得承恩，宣帝却也安然无恙。后来霍氏进宫，张婕妤又复继入，不过宣帝还未忘记。仍命王女为婕妤，得同样享受禄秩。王女心已知足，安处深宫，一点儿没有怨言。膝下也无子女，至此竟由宣帝选就册立为继后，并把太子奭交付了她，嘱令抚养。张婕妤等都论为异事引作美谈。唯王女虽得为后，仍不见宣帝宠遇。且情性甚是温和，与任何人毫不争夕，所以张婕妤等仍得相安，由她挂个虚名罢了。
就这把立后的问题妥善地解决了。是时为宣帝九年，改元二次，曾于八年底又改次年为元康元年。当时内外百隙依着惯例，说了好多好话，表示庆贺，宣帝又颁诏大赦，省刑减赋。当时还有吏民上书，说宣帝的名字有犯讳得罪，因此，宣帝借着改元赦民的机遇，特将原名“病己”改为“询”。并声明在此以前不管任何吏民触讳了皇上都赦免之！
良吏迭出
宣帝执政有年，他越来越重视人才。他力求励精图治，坚持每阅五日开一大会，凡丞相以下诸官都得参加。有利议兴，有害议革。坚持这么一个原则，对朝廷上下郡县军民各级各类官吏，凡有条件时都要亲自召问，有成绩表扬，有缺点指责改正。他常对左右说：“如何来判断社会安宁，庶民升平呢，就是看田（厂）里劳动的人民有无怨恨声，全靠政平讼理，得人而治。朕想：“国家大本，系诸民生，民生六大要索系诸二千石（高中层干部），二千石若不得人，怎能佐朕治国呢？”有胶东相王成颇有循声，闻他召集流民，约有八万余口，宣帝即下诏褒扬，称为劳来不念，赐爵关内侯。这是宣帝赏循吏的第一遭。后来王成病死，有人说他浮报户口，不情不实。宣帝亦未尝追问。看来只要你领导有才，群众得到实惠，都称赞你在那里做官做得好，中央或者是上级就应该玺书勉励，于是天下闻风循吏辈出。
不久，宣帝进北海太守朱邑为大司农，勃海太守龚遂为水衡都尉，东海太守尹翁归为右扶风，颖川太守黄霸，胶东相张敞先后为京兆尹。
朱邑字仲卿庐江人氏，少为桐乡啬夫，廉平不苛，吏民悦服，调任北海太守政绩卓著，推为治行第一。宣帝乃提升他为大司农。朱邑情性淳厚，待人以德。惟遇人嘱托私情，独峻拒不允，即有不少人经常送些东西或钱财，朱邑总是拒绝，不允许对方这样做，那怕是实在没办法的时候，接受了别人东西或钱财，以及朝廷所赐的奉禄，经常一概拿出来分给部下及亲朋，或普通百姓，做到自家无敛财，自己的生活却很俭约。入任大司农五年得病不起，遗言嘱子说：“我尝为桐乡吏，民皆爱我，后世子孙向我致祭，恐反不如桐乡百姓，你宜将我遗骨往葬桐乡，休得有违。”不久即逝，子遵命奉葬桐乡西部，百姓果为起冢，立祠祭祀不绝。
龚遂字少卿籍隶平阳。前坐昌邑事，枉受髨刑，罚为城旦，至宣帝即位以后，正当是渤海一带遭灾，人民饥饿，盗贼蜂起时期，郡守以下，多人到治都不能制服。由丞相、御史大夫推荐将龚遂调令出守渤海，在赴任前宣帝召其入见，遂年逾七十，体态龙钟，身材本来矮小，尤觉得曲背驼腰。宣帝瞧着却感到失望，但又已经召至，不得不开口问道：“渤海荒乱，你有这样的能力去为我治理吗？你将采取什么工作方法呢？如何去处置这些盗贼呢？”一连串提出了几个问号。龚遂徐徐答说道：“渤海地方隔京城很远，那里的人民不了解朝廷的政策，遇到了天灾人祸，没有很好的官员去安慰疏导，使之人民的生活没有个安逸的环境，没有个向往的希望。只要解决了上述几个方面的问题，人们自然会听政府的话不去犯法，盗抢做贼哩！今天陛下俯问及臣，竟欲使臣往剿呢，还是使臣往抚哩？”宣帝回答说：“朕今选用良材，愿欲要你去抚慰人民，并非一意去剿。”遂又答道：“臣闻治乱民如解乱绳，不应过急，须徐徐清理，方可治平。陛下既有意抚民使臣前去，臣愿与丞相御史说明白，得臣一切便宜行事，方可有成！”宣帝点首表示允诺，并赐遂黄金百斤，今即为渤海太守。遂叩谢出。草草整装乘驿入渤海境。郡吏发兵往迎，龚遂一概遣退，所经过的县属都拒绝接送对操持田器的百姓，尽为良民，所有不得过问。不过高度警惕盗贼泛滥，真正的所有的盗贼听到或看到龚遂的政令严明，所治有方，闻风解散。龚遂单车进府，开仓发禀，赈灾济民，并对所有政府的所辖官吏进行一次严格的整顿。去暴留民，人民大悦，情愿安居乐业，不愿轻身试法。才越三四年，狱讼止息，吏民融洽，人民富饶，宣帝嘉龚遂政绩超人，遣使召归。龚遂奉命登程，吏民奉送出境望车泣别。回到长安，宣帝亲自接见，赞扬他的功绩，因龚遂年纪已老不能进任公卿，只好乃命为水衡都尉，未几龚遂病殁，也是一位考忠的循吏。
尹翁归字子况，世居平阳，迁住杜陵，少年丧父，依叔为生，弱冠后充当狱吏，晓习文法，又喜击剑，人莫敢当。当时田延年为河东太守时，巡行至平阳，召见地方官吏，令文吏在东，武吏在西，翁归时亦在列，独伏不肯起，抗声说道：“翁归文武兼备，愿听出题答策！”左右都目为不逊。田延年也暗暗称奇，令他起立，答辩数问，回对如流。延年对吏事说带回府舍，令他献计献策。他发表了大量言论，对正者要怎样兴，对逆者要怎样导，遍遍是理。延年大加器重。就叫他在郡府里当行吏尉。后来田延年内调，翁归朝廷亦任命为都内令，并拜为东海太守。
廷尉于定国系东海人。翁归奉命出守不能不向他辞行，乘便问及东海民风。定国有邑子两人想托翁归带去，作为培养锻炼，那知互谈多时，竟难出口，只好送他出门。返回室来对邑子道：“他是当今贤吏，不便以私相托，我所以不好启齿呢！”邑子虽然失望也觉得情真语实，只好罢休。那翁归到了东海，悉心查访，凡吏民贤否，及地方豪猾一一载入籍中，然后巡至各县，按籍赏罚，善必功，恶必惩。有郯县土豪许仲孙，武断乡曲，称霸一方，历届太守屡缉不获翁归来督捕吏，将他拘住，认出种种罪恶，立命处死。至此民皆畏法，不敢为非。东海地方遂得大治。宣帝又调翁归为右扶风，翁归莅任，仍照东海办法，且访用廉平吏人，优礼接待，详细询问民间利害。闻有土豪败类，立命县吏拘拿，所至必获，惩罪如律，因此扶风又治益，可称翁归为三辅中的第一贤能。
