在宣帝即位之前，代王刘恒、昌邑王刘贺均是以诸侯王的身份入继大统的。由于缺乏皇位法定继承人的权威性，特别是在即位初期很难取得朝廷重臣的拥护，不得不在相当程度上依靠诸侯国旧臣以维系统治，同时还需精心调整与朝廷重臣及诸侯国之间的关系，以保持朝廷政治格局的稳定性。在文帝成功与昌邑王刘贺败亡的背后，都见有代臣与昌邑臣的影子。特别是刘贺前鉴不远，调整与权臣霍光之关系，则是初即大统的宣帝首要之务。这亦是在地节二年（前68）霍光去世之前，宣帝在政治上几乎很少有针对霍氏举措的关键所在。
宣帝即位不久，霍光表示要“稽首归政”，但宣帝依然委政于霍光，“诸事皆先关白光，然后奏御天子。”宣帝即位初始，即效法文帝，“论定策功”，益封霍光一万七千户，加之原先封户，“所食凡二万户”。西汉一代，虽然封侯者不在少数，但是封户逾万者却不多见。汉高祖时封侯者多达四百余人，封侯万户者仅有二人：平阳侯曹参与留侯张良，而丞相萧何方八千户，少者仅五六百户。虽然《汉书·高惠高后文功臣表·序》曰：“逮文景四五世间，流民既归，户口亦息，列侯大者至三四万户，小国自倍。”但实际上三四万户的封侯并不见于史载。颜师古注曰：“曹参初封万六百户，至后嗣侯宗免时，有户二万三千，是为户口蕃息故也。”曹参侯国传四代，至武帝元光五年（前130）国除，距始封时已经69年，封户方逾二万。可见，霍光有生之年封户就高达二万，其权势恩宠之盛，可以想见。
除霍光之外，其余大臣，“车骑将军富平侯张安世以下益封者十人，封侯者五人，赐爵关内侯者八人”。值得注意的是，在宣帝已经即位的情况下，丞相杨敞于元平元年九月去世，霍光扶持其故吏蔡义任丞相，封阳平侯，此次也在益封之例。是时，蔡义年逾八旬，“貌似老妪，行步俯偻，常两吏扶夹乃能行”，较之前任丞相杨敞更为老朽不堪。霍光将如此丞相强加于宣帝，当时就有霍光“置宰相不选贤，苟用可颛制者”的讥讽。
不仅蔡义为丞相时如此，蔡义于本始三年（前71）去世后，在继任丞相的人选上，宣帝仍然没有明确表达自己的意图，而以长信少府韦贤为丞相。韦贤，初以邹鲁大儒的身份为帝师，“进授昭帝《诗》”，官至大鸿胪，与霍光共同尊立宣帝，赐爵关内侯，徙长信少府，“以先帝师，甚见尊重”，本始三年，代蔡义为丞相。从韦贤仕途经历看，与大将军霍光似乎不无关系，据《后汉书》载桓郁语曰，昭帝即位之初，“大臣辅政，亦选名儒韦贤、蔡义、夏侯胜等入授于前，平成圣德。”尽管韦贤不是霍光的故吏，亦是以“帝师”的身份出任丞相，且年逾七旬，“不习吏事”，为相五年，政事上毫无建树，与蔡义几无二致。由此可见，霍光所谓“以为人主师当为宰相，何谓云云？此语不可使天下闻也！”似乎并不是仅指蔡义而言，韦贤何尝不是如此。如果说所谓“论定策功”只是循例故事，恩宠群臣的一种手段的话；可是任命百官之首的丞相则是人主的权力所在，而宣帝则听任霍光处置，这一做法在当时的条件下是极其明智的，在一定程度上解除了霍光的戒备防范之心，这也是在霍光去世前，君臣能相安无事的一个原因。
地节二年（前68）春，权倾朝野的大将军霍光去世。宣帝为报答霍光的拥戴之恩，为霍光举办一个“皆同乘舆制度”的隆重葬礼，并下诏追思霍光功德曰：
大司马大将军博陆侯宿卫孝武皇帝三十余年，辅孝昭皇帝十有余年，遭大难，躬秉义，率三公、诸侯、九卿、大夫定万世策，以安宗庙。天下蒸庶，咸以康宁，功德茂盛，朕甚嘉之。复其后世，畴其爵邑，世世毋有所与。功如萧相国。
然而，在“追思霍光功德”表象的背后，一个翦除霍氏集团的行动却在有条不紊地展开。
此时霍光虽死，但霍氏家族的势力依旧存在，霍禹嗣父爵为博陆侯，迁右将军，乐平侯奉车都尉霍山复领尚书事，中郎将霍云封冠阳侯，诸婿、亲戚依旧兵权在握。但是霍光之死，毕竟为打破霍氏家族左右朝政的局面提供了难得的机遇。宣帝为强化皇帝权威，采纳御史大夫魏相的建议，废除“副封”制度，同时诏魏相给事中，引入内朝，从中牵制霍氏集团；旋即又以“老病”免除丞相韦贤，代之以魏相，将中外朝都牢固地控制自己手中。与之同时，封皇太子外祖父许广汉为平恩侯，位特进，与其弟中郎将许舜共同监护太子，免除祸生腋下之虑。宣帝此举断绝了霍氏家族以外戚身份继续操纵朝政的企图。难怪霍夫人显闻知许皇后子立为皇太子后“怒恚不食，呕血，曰：‘此乃民间时子，安得立！即后（霍皇后）有子，反为王邪？’”不久，宣帝又进一步采取措施，更任霍禹为大司马，罢除其右将军屯兵及官属，诸霍及亲戚掌握兵权者皆削除兵权，或外放任为郡太守，或更任为文职，京师屯兵的及宫廷宿卫均以外戚许氏、史氏子弟代领。地节四年（前66）秋九月，大司马霍禹等被人告发密谋反叛，家族尽诛，霍皇后废黜，“与霍氏相连坐诛灭者数十家”。
导致霍氏灭族的毒杀许后、谋废宣帝两个直接动因，吕思勉先生曾评议道：“霍氏诚有取祸之道，然谓禹谋自立，则与上官桀欲杀燕王而自立，同一无稽。即弑许后亦莫须有之事，附子非能杀人，尤不能杀人于俄倾也。宣帝非愚騃者，即视许后死不能救，又宁待魏相、许伯而后知之乎？”否认霍氏灭族是因谋反之故。吕先生的评议自有道理。霍氏谋反的方式几乎与上官氏如出一辙。在上官氏父子一为左将军、一为车骑将军，兵权在握的情况下尚且不能杀霍光，废除昭帝；霍氏家族在兵权尽解，护卫京城与皇宫的兵权早已掌握在宣帝亲信的许氏、史氏子弟手中的情况下，采取如此必败之道，确实有许多令人难以思议之处。
若从问题的另一方面考察，宋代史家司马光认为：
霍光之辅汉室，可谓忠矣。然卒不能庇其宗，何也？夫威福者，人君之器也；人臣执之，久而不归，鲜不及矣。昔孝昭之明，十四而知上官桀之诈，固可以亲政矣。况孝宣十九即位，聪明刚毅，知民疾苦，而光久专大柄，不知避去，多置私党，充塞朝廷，使人主蓄愤于上，吏民积怨于下，切齿侧目，待时而发，其得免于身幸矣，况子孙以骄侈趣之！虽然，乡使孝宣专以禄秩赏赐富其子弟，使之食大县，奉朝请，亦足以报盛德矣；乃复任之以政，授之以兵，及事丛衅积，更加裁夺，遂至怨惧以生邪谋，岂徒霍氏之自祸哉？亦孝宣酝酿以成之也。
司马光认定霍氏罹祸不仅有其自身之原因，而且与宣帝“酝酿以成之”不无关系。司马光这一看法具有代表性。霍光尚在世之时，“霍氏尊盛日久，内不能善”的说法在民间已广泛流传，茂陵徐生曾断言：“霍氏必亡。夫奢则不逊，不逊必侮上。侮上者，逆道也。在人之右，众必害之。霍氏秉权日久，害之者多矣。天下害之，而又行以逆道，不亡何待！”于是上书宣帝建议：“霍氏泰盛，陛下即爱厚之，宜以时抑制，无使至亡。”但是“书三上，辄报闻”，除此之外，宣帝没有任何“以时抑制”的表示。
如果说来自民间徐生的上书不可能引起宣帝充分注意的话，在翦除霍氏集团中最为得力的丞相魏相，在霍光死后不久亦上书宣帝，表达了相近的意愿：
自后元以来，禄去王室，政繇冢宰。今光死，子复为大将军，兄子秉枢机，昆弟诸壻据权势，在兵官。光夫人显及诸女皆通籍长信宫，或夜诏门出入，骄奢放纵，恐浸不制。宜有以损夺其权，破散阴谋，以固万世之基，全功臣之世。
地节四年五月，山阳太守张敞也上书宣帝：
乃者，大将军决大计，安宗庙，定天下，功亦不细矣……朝臣宜有明言，曰：‘陛下褒宠故大将军，以报功德足矣。间者辅臣颛政，贵戚太盛，君臣之分不明，请罢霍氏三侯皆就弟。及卫将军张安世，宜赐几杖归休，时存问召见，以列侯为天子师。’明诏以恩不听，群臣以义固争而后许，天下必以陛下为不忘功德，而朝臣为知礼，霍氏世世无所患苦。
是时，霍氏家族日见侵削，其势危如累卵。魏相、张敞的上书显然是在试图为保全霍氏家族的做最后一次努力。但是这一努力同样也没有成功，宣帝虽然“甚善其计”，却没有采纳张敞的建议。就在张敞上书后不到五个月，霍氏家族就以谋反的罪名族诛。
紬绎徐生、魏相、张敞诸人所言，实则都表达了一个共同的意愿：即在削除霍氏权力的前提下，保全霍氏家族，同时也是为了保全宣帝“褒宠故大将军，以报功德的”仁慈之主的令名。实际上，自霍光去世后，削霍氏权力的部署已经有条不紊地完成了，“罢其三侯（霍禹、霍云、霍山），令就第，亲属皆出补吏”，张敞所说“天下必以陛下为不忘功德”，魏相所云“全功臣之世”的可能性已经存在，但是霍氏最终仍难逃灭族之祸，其间原因值得深思。
霍氏灭族虽是在霍光死后，但是祸因在霍光生前业已埋下。
霍光集中外朝权力于一身，虽无掣肘之虑，却使霍氏集团自身也处于一种孤立无助的地位。因此霍光死后，一些与霍氏渊源较深者，纷纷以各种方式疏离霍光集团。如霍光女婿金日磾之子金赏在“霍氏有事萌芽”时“上书去妻”，以求避祸；曾为霍光一手擢升、位居其次，又有拥立之功的车骑将军张安世更是“小心畏忌”，闻知宣帝欲以其“继大将军后”时惶恐不安，恳请“天子财哀，全老臣之命”，深惧朝臣将其视为霍光第二，亟于消弭与霍氏交往甚密的心迹显见。丞相韦贤亦是如此，地节三年，“以老病乞骸骨”免相，金氏、张氏、韦贤尚且如此，更遑论那些久在霍氏的威慑之下，早已心存怨望的其他朝臣。当霍禹对宣帝侵削霍氏权力怨望不已之时，霍禹故长史任宣就直言相告：“大将军时何可复行！持国权柄，杀生在手中”，积怨甚多，“大司马欲用是怨恨，愚以为不可。”表明霍氏集团内部一些人也认识到，霍光过分集权及为政严酷，已经严重地削弱了霍氏集团的统治基础。
事实上，从霍光之死至霍氏灭族将近三年，客观上为霍氏集团重新调整与宣帝的关系留下了足够的时间。然而长期处于霍光权势荫庇之下的霍禹诸人，显然缺乏必要政治才干，不仅没能利用这段宝贵的时间，反而以贵胄子弟的奢侈妄为的行为加速自身的灭亡。平心而论，霍光对其子霍禹的才干曾有清醒的认识：当初，张安世之子张千秋与霍禹皆以中郎将随度辽将军范明友击乌桓，还见霍光，“问战斗方略，山川地形，千秋口对兵事，画地成图，无所忘失。”再问霍禹，“禹不能记，曰‘皆有文书’。”于是霍光“以禹为不材”，叹曰：“霍氏世衰，张氏兴矣。”但是为了保证霍氏权力的延续性，霍光在弥留之际还是借上书谢恩之机巧妙地为“不材”的霍禹求官。身居权力中枢又无相应政治才干的恶果很快地就显现出来，面对着霍氏权力日益被削夺的严峻局势，霍禹诸人除了“缮治第宅，走马驰逐”，骄恣享乐，纵奴逞威，就是面对宣帝的步步紧逼，相对啼泣，自怨自艾，几乎没有任何收敛的迹象及应变措施。如此之才干与作为，即使有心“谋反”，也只能是拙劣仿效上官氏，自罹其祸而已。正因为“禹、云、山皆庸才”，所以宣帝在诛除霍氏时才能“匕鬯不惊”，吕思勉先生之语，实为确评。
宣帝初立，谒见高庙，大将军霍光骖乘，“上内严惮之，若如芒在背……及光身死而宗族竟诛，故俗传‘威震主者不畜，霍氏之祸萌于骖乘’。”班固《霍光传》赞曰：
霍光以结发内侍，起于阶闼之间，确然秉志，谊形于主。受襁褓之托，任汉室之寄，当庙堂，拥幼君，摧燕王，仆上官，因权制敌，以成其忠。处废置之际，临大节而不可夺，遂匡国家，安社稷。拥昭立宣，光为师保，虽周公、阿衡，何以加此！然光不学亡术，暗于大理，阴妻邪谋，立女为后，湛溺盈溢之欲，以增颠覆之祸，死财三年，宗族诛夷，哀哉！
来自民间的“俗传”与史家颇具感伤的赞叹，道出了霍氏灭族的重要原因。但并不足以涵盖宣帝与霍氏关系的全部内容。
在错综复杂的历史事件中，左右其发展运行的因素甚多，仅就西汉君臣关系而言，既有汉初名相萧何，韬光晦迹保全自身及后裔的史实；也有同为汉初功臣之后，政治军事才干皆为一时之俊的周勃之子周亚夫，仅仅因为被景帝视为“此鞅鞅，非少主之臣”，就被诬谋反下狱、呕血而死的史例；亦有自恃帝舅身份的丞相田蚡，“权移主上”，受到武帝警告后始有收敛，得以全身而终的史事。同样，影响宣帝与霍氏家族关系变化的因素众多，其中固然有霍氏的原因，但是与宣帝外宽内忌的性格，是时政治局势的变化等诸多因素相关。通过对宣帝与霍氏关系的重新审视，不仅有助于深入分析西汉时期的君臣关系，亦可从中探究武帝末年昭宣之际政治局势发展演变的轨迹。
