霍光又令旧日昭帝的侍中、中官等人看守刘贺，告诫他们说：“小心谨慎，用心守卫，勿令昌邑王暴毙或自裁，使我有负天下，背上弑主的恶名。”众人齐答：“必不负大将军所托。”
刘贺虽知有异，但还没想到自己将要被废黜，问道：“朕原来的群臣从官有何罪过，而大将军竟将他们全部关押起来了？”左右皆不能回，也不敢答。刘贺见气氛紧张，自知必有大事发生，但内心里，还生着一丝希望。不久，皇太后下诏，令刘贺觐见。刘贺惊倒在地，惶恐不安，喃喃道：“朕有何罪，以至于太后要召见我？”虽不情愿，但还是移步前往。
皇太后披着满是珍珠的短袄，身着盛装，端坐于武帐中；侍御数百人皆持兵器，期门武士执戟列于殿阶下；群臣依次上殿。皇太后召唤刘贺前来听诏。刘贺自知大势已去，心道果然是当断不断，必受其乱，不免哀叹一声，抖抖索索地上前听旨。尚书令展开群臣联名上的奏章，一一数落刘贺的不是，听得皇太后勃然变色，斥道：“为人臣子当悖乱如是耶？可恨，可恨！”刘贺慌忙离席，拜伏于地，磕头请罪……
奏章的末尾说：“高皇帝建功业为汉太祖，孝文皇帝慈仁节俭为太宗，今陛下嗣孝昭皇帝后，行淫辟(僻)不轨。《诗》云：‘籍(藉)曰未知，亦既抱子（《诗经·大雅·抑》）。’五辟之属，莫大不孝。周襄王不能事母，《春秋》曰‘天王出居于郑’，繇(由)不孝出之，绝之于天下也。宗庙重于君，陛下未见命高庙，不可以承天序，奉祖宗庙，子万姓，当废。”皇太后诏曰：“可。”
霍光令刘贺起身，跪拜受诏。刘贺道：“朕闻天子只要有诤臣七人，虽无道，但也不至于失去天下。唉，可惜呀，可惜！”霍光道：“皇太后已下诏废黜，大王不可再自称天子啦。”便上前执持其手，解下他身上的玺绶，奉还给皇太后，随即扶着瞠目结舌、面如死灰的刘贺下了殿，出金马门；群臣嗟叹不已，相送于后。
刘贺西面拜曰：“臣愚戆，不明事理，不堪重任，幸无执其辔而覆其车。”洒泪一番，起身上了乘舆副车。霍光将刘贺送至昌邑邸，谢罪道：“王行自绝于天。恕臣等低能懦怯，不能杀身以报德。臣下宁可有负大王，不敢对不起国家。愿大王自珍自爱，此后臣再也见不到您了。”想起此人为自己所立，又为自己所废，不免有白费一番功夫、自讨恶名的感觉，一时百感交集，泪流两行，涕泣而去……
如何善后，这是一个难题。曾经为帝的刘贺对帝国来说，有可能是一个不安定的因素。于是群臣上奏说：为了国家的稳定及政令的畅通，古往今来，凡废黜或流放之人，无一例外皆放逐于远方；故而臣等建议将昌邑王刘贺迁徙到汉中房陵县（今湖北房县）。
刘贺自是不肯，只道故土难离，望太后怜悯。皇太后想昌邑王从巅峰跌落至谷底，此刻不知有多难受呢，不免同情心顿起，有意要安抚他，便诏令刘贺回归故园，赐汤沐邑二千户，昌邑哀王刘髆的家财也全赐予他；刘髆的四个女儿也各赐汤沐邑一千户；但封国昌邑被废除，降为山阳郡。
秋后算账，该来的还是会来的。昌邑群臣中的大多数人本以为从此攀上高枝，乌鸦变凤凰，不想一个趔趄，又变成了乌鸦，更不妙的是，还是罗网中的乌鸦，自不必说，成了砧板上的肉了。一个一个的审问，一个一个的甄别。中尉王吉、郎中令龚遂因多次劝谏而得以免死。儒士王式曾为刘贺的老师，虽无谏书，但用《诗》三百零五篇来劝谏，也得以免死，但从此心灰意冷，回家后从此不再教授。其他的二百余人，被判没有尽到辅导之责，使昌邑王误入歧途以致被废，论罪当诛。这些人出狱赴刑场时，于集市中哭喊呼号：“当断不断，反受其乱。”悔恨之意，溢于言表。是的，权力之争，成败就在那么一瞬之间，一旦没有及时出手，就再也翻不了盘了。
刘贺会想起这些人吗？会想起那无数个夜晚萦绕在耳边的：“不出宫，诛霍光”的告诫么？会后悔自己的犹豫不决么？一切已无从知晓了。曾经的九五之尊深情地朝身后的长安看了一眼，长长地叹了一口气，想着一切都已结束了，不免两行清泪流了下来，是后悔自己不及时出手还是悔恨自己先前过于荒唐？也许都有吧。刘贺不舍地朝皇宫方向望了一眼，回转身来，登上轺车，带着几个随从，望昌邑而去……
