守丧期间，大王却每天跟他的左右亲信，喝酒作乐，到御花园斗虎斗豹，欢天喜地。又出动‘皮轩车’‘九旒’（旒，音ｌｉú【流】。皇帝出门时，庞大的侍卫仪仗，称“大驾”，范围略小的称“法驾”，参考前一八○年。这些“驾”【车队】的最前端，有一辆“皮轩车”，用虎皮作为顶盖。而在这辆蒙着虎皮的前导车之前，又有被称为“九旒”──九个附加彩带的大旗作前导旗），东奔西跑，所作所为，违背正道。古代政治制度宽厚，准许臣属辞职，而今想辞职也辞不掉。曾经想到假装疯狂，又怕被人识破，死后也受唾骂，如何是好？你是陛下当亲王时的封国宰相，应该竭力规劝。”
刘贺梦见宫门西阶的东侧，堆着大堆青蝇（苍蝇的一种，俗称“金苍蝇”，身体呈金绿颜色，复眼大而且红）的粪便，有五六石之多，上面覆盖着大号的屋瓦。询问龚遂，龚遂说：“陛下读《诗经》，难道忘记：‘嗡嗡叫的青蝇/停到篱笆顶端/坦荡的君子/不要听信谗言！’陛下左右，说谗言的太多，就跟青蝇一样的可恶。我建议陛下：遴选先帝（刘弗陵）大臣的子孙，跟他们亲近，作为你的侍从。如果念及昌邑国的故旧，不忍抛弃他们，而一直听信他们的播弄，将有凶险的事情发生。请求你化祸为福，把他们逐出皇宫，我愿作为榜样，第一个先走。”刘贺不理。
交通部主任秘书（太仆丞）、河东（山西省夏县）人张敞上奏章规劝说：“孝昭皇帝（刘弗陵）早死，没有皇嗣。大臣忧虑惶恐，特别遴选贤能，继承祖宗祭庙的香火。到东方迎接圣驾的时候，唯恐御驾行程迟缓。陛下以壮年而登帝位，天下人都擦亮眼睛，竖起耳朵，盼望实行善政。却想不到，对辅国的重臣，没有一句话褒扬，而昌邑国推挽辇车的小奴，却先获得升迁，这是一项很大的错误。”刘贺仍一概不理。
８ 刘贺一连串荒唐的行径，使霍光大失所望，痛心忧虑，秘密询问亲信的从前部属、现任农林部长（大司农）的田延年，应该如何因应。田延年说：“将军是国家的梁柱磐石，如果认为他不可以，为什么不奏报太后（上官），更立贤能？”霍光说：“假定这样做的话，不知道古代有没有发生过这种事？”（儒家学派的崇古狂，已开始在政治上发作，凡“古”所没有的，今人绝不敢突破。）田延年说：“商王朝时，伊尹当宰相，曾罢黜子太甲（五任帝太宗），保护国家的安全；后世歌颂伊尹的忠心。将军如果愿意效法，正是西汉王朝的伊尹。”霍光遂命田延年兼御前监督官（给事中），并秘密跟车骑将军张安世磋商。
刘贺又出宫游逛，特级国务官（光禄大夫）、鲁国（首府鲁县【山东省曲阜市】）人夏侯胜（夏侯，复姓）拦阻仪仗车队，上前报告说：“天气久阴而不下雨，显示臣下对上位的人，有不利的阴谋。陛下出宫，要到哪里去？”刘贺大怒，认为妖言惑众，把夏侯胜逮捕，送交主管机关法办。主管机关报告霍光，霍光命暂缓处理。认为定是张安世有所泄露，诘问张安世，而张安世并没有泄露，于是召问夏侯胜，夏侯胜回答说：“我的话有根据，《洪范传》说：‘君王在上位而有很多过失，上招天罚，就会使气候阴霾，显示在下位的人要动手谋杀。’我不敢明言，只好说：‘有不利的阴谋。’”霍光、张安世大为震惊，从此越发尊重儒家知识分子。这时，宫廷随从（侍中）傅嘉也屡次规劝刘贺，刘贺把傅嘉逮捕，投入牢狱。
霍光、张安世既决定行动，由田延年报告宰相杨敞。杨敞听到要罢黜皇帝，刹那间呆在那里，瞪着眼睛，张大嘴巴，大汗像暴雨一样淌下，浑身淋漓，连衣服都湿透，支支吾吾，只能说出“啊啊”声音，不敢表示任何意见，面色苍白，六神无主。正巧，田延年起身去洗手间，杨敞夫人在东厢听见他们的谈话，出来警告杨敞说：“这是国家大事，最高统帅已经决定，派部长级（九卿）高官来通知你，你如果不能坚决表示跟最高统帅同心同力，却犹豫不定、不作承诺。还没有动手，我们全族可要先被屠灭！”杨敞惊悟。田延年从洗手间回座，杨夫人参与谈话，誓言支持，一切听从霍光吩咐，霍光等迅速布置妥当。
９ 六月二十八日，霍光在未央宫召集宰相、监察官（御史）、将军、侯爵、部长级高级官员（二千石）以及国务官（大夫）、研究官（博士），举行中央扩大会议。由霍光宣布会议主旨：“皇上昏聩淫乱，势将危害国家，我们应该如何？”像一个晴天霹雳击中头顶，全体官员刹那间成了一堆木偶，面无人色，没有一个人敢表示意见，而只敢哼哼唧唧。田延年首先发动，离开席位，手按剑柄（这是一种随时出击的姿态），大声说：“先帝（刘彻）把孤儿（刘弗陵）托付给将军，国家安全，全由将军做主，认为将军忠心不渝，能力坚强，可以保护刘姓皇家平安。而今一小撮干部（指昌邑国来的随从）像沸水一样翻腾胡闹，使国家处于险境。西汉王朝历代皇帝的尊号（谥号）上，都特别加一‘孝’字，就是强调政权永久，使祭庙可以长远的享受到后代祭祀。如果刘姓皇族的祭祀一旦断绝，将军即令一死，又有什么面目见先帝于地下？今天会议，必须立刻获得结论。如果有人最后响应的，我请求准许当场格杀。”霍光道歉说：“部长（九卿）责备我的话是对的，天下骚动，我应该接受处罚。”于是全体官员一齐叩头，说：“人民的命脉，在将军之手，请发布命令。”
霍光遂即率领文武百官，朝见上官太后，报告刘贺种种无道事实，说明他没有资格继承帝位。上官太后乘车前往未央宫承明殿，下令宫廷各门，拒绝原昌邑国官员入宫。刘贺朝见上官太后后，乘坐辇车，正准备回温室殿，禁宫侍从宦官（中黄门宦者）已分别掌握宫门，等到刘贺一进去，立即关闭，昌邑国臣属被隔绝在外，刘贺问：“这是怎么回事？”霍光跪下报告说：“皇太后下令，不准昌邑国臣属进宫。”刘贺说：“慢慢吩咐就是了，何至于搞得吓死人？”霍光下令把留在宫内的昌邑国臣属，全部驱逐到金马门之外。车骑将军张安世率领羽林军就在宫门外一网打尽，逮捕二百余人，送到司法部（廷尉）诏狱羁押。霍光命刘弗陵时代的宫廷随从宦官（中臣），看守刘贺，下令左右：“严密保护他，万一他因别的原因死亡，或者自杀，我会辜负天下人的委托，背上弑君的恶名。”
刘贺仍被蒙在鼓里，不知道就要被罢黜，对左右侍从说：“我那些昌邑官员有什么罪？难道最高统帅要把他们全部抓起来？”一会工夫，上官太后下诏召见，刘贺这才觉得不对劲，惊恐说：“我犯了什么错？怎么太后要我去？”上官太后身披珠宝编织的外衣，盛装打扮，坐在金銮殿特设的武帐之中，左右数百名卫士，手执武器，宫廷禁卫官司令（光禄勋）所属的期门禁卫武士（“期门”，刘彻私行出游时【参考前一三八年】，跟一些心腹武士，约期在殿门会合。以后遂称皇帝的贴身侍卫为“期门武士”），沿着台阶布岗，手执铁戟，直到殿下。文武百官依照尊卑次序，上殿就坐（坐在榻榻米上）。然后召唤刘贺到面前，俯伏听候宣读诏书。
霍光跟群臣连名弹劾刘贺。由宫廷秘书长（尚书令）宣读弹劾书：“宰相杨敞等，不知道死活，上奏皇太后陛下：孝昭皇帝（刘弗陵）早早的抛弃天下，我们派出使节，迎接昌邑王刘贺，前来主持丧礼，守三年之丧。可是刘贺心中没有一点悲哀，以致礼仪全废。在来长安途中，拒绝素食，却命他的随从官员，抢夺民间美女，藏在放置服装的车子里，送到驿站陪宿。初到长安时，晋谒皇太后，立他当太子，他仍私自购买鸡肉、猪肉进餐（古礼，守丧期间，不吃荤，不接近女色）。在先帝（刘弗陵）棺柩前接受皇帝玉玺，拆封之后，不再封存（玉玺是国家最高符信，用毕之后，一定包封典藏。刘贺毫不在意，显示他不敬业、不谨慎）。随从官员更‘持节’引导昌邑国的从官、马夫、厨师、奴仆，二百余人，进入皇宫之内，态度蛮横，游戏无度。刘贺曾经写信说：‘皇帝（刘贺）问候王宫随从君卿（昌邑国侍中，姓不详），我已下令给宫廷财务官（中藏府令）高昌，送给你黄金一千斤，你可以娶十个妻子。’先帝的灵柩还停在前殿，刘贺却命搬出乐器，教昌邑国的乐队，锣鼓喧天，引吭高歌，演戏取乐。又征调太乙庙乐队，遍奏各种乐曲。出动‘法驾’（参考前一八○年）仪仗，奔驰北宫、桂宫（两宫都在未央宫之北。桂宫是七任帝刘彻兴建，周围十余里，有双层大道直通未央宫）。调弄野猪，搏斗猛虎。又擅自使用皇太后御用的小马车（皇太后在皇宫中专用的一种辇车，由‘果下马’驾驶。‘果下马’高仅三尺，现代罗马竞技场废墟前就有这种小马，高度只到腰际，看起来好像一只大狗，供游客骑乘摄影留念），让因罪而被判决到宫廷从事苦工的奴仆乘坐，在宫中奔驰游戏。又跟先帝（刘弗陵）的宫女蒙（姓不详）等奸淫；下令宫廷事务总管（掖庭令），敢泄露消息的，腰斩。”
听到这里，上官太后气得发抖，说：“停一下，作一个臣子，怎么能这般狂悖荒乱？”刘贺离开他的席垫，俯伏地面。
宫廷秘书长（尚书令）继续宣读：“刘贺又取出亲王、侯爵、部长级官员（二千石）印信上的红色绣带以及黑色绣带、黄色绣带（古时印信，都系有绣带，像现代的钥匙链一样，把印信佩在身旁，用以显示官位。西汉王朝亲王印信系红色绣带【赤绶】、侯爵印信系紫色绣带【紫绶】、部长级高官印信系青色绣带【青绶】、中级官员【千石、六百石】印信系黑色绣带【墨绶】、低阶层官员【四百石、三百石、二百石】印信系黄色绣带【黄绶】。绶，音ｓｈòｕ【受】），教昌邑国的王宫禁卫官（郎官）跟刚从劳工营被释放出来的仆役们佩带。又打开宫库（御府），把金钱、刀剑、玉器、绸缎，赏赐给陪他游戏的同伴。又跟随从官员以及没入官府做苦工的囚犯，连夜狂饮，沉醉昏迷。又在温室殿，设立隆重的‘九宾’之礼，晚上单独接见他的姐夫昌邑关内侯（姓名不详。“九宾”之礼，没有一定的说法。其中之一的说法是：大典时设立九位傧相陪伴）。正在守丧期间，还不能祭祀祖先祭庙，却用正式诏书，派人‘持节’，用三份太牢（牛羊猪各一，称“太牢”，没有牛称“少牢”），去祭祀他老爹昌邑王（哀王）刘髆的坟墓庙园，而且自称：‘嗣子皇帝’。（儒家学派的继承法则，至为严密，“大宗”“小宗”，分别很大。主要的是：“为人后者为人子。”侄儿继承叔父的财产香火，便是叔父的儿子。自己的亲爹，反而成了伯父。刘贺既然继承了刘弗陵的宝座，就不能再承认亲爹刘髆是父亲，不能再承认自己是刘髆的儿子。仅这一点，刘贺就违背礼教。好在儒家的拘束力，前一世纪时不过刚刚开始。一千年后的宋王朝，闹出“濮议”案件，造成可怕的风波。再过五百年，到了明王朝，酱缸更深，“大礼议”案件爆发，金銮宝殿上一片号哭。）刘贺自从登基以来，只二十七天，派出的使节一个连一个，仅‘持节’向官府征求调发，就有一千一百二十七件。刘贺荒淫迷乱到如此程度，不适合让他担任皇帝，继续破坏西汉王朝制度。臣杨敞等好几次上言规劝，都不能改正他的错误，而且日甚一日。深恐危害到国家安全，天下骚动。臣杨敞等跟研究官（博士）商议，一致认为：今上陛下（刘贺），继承孝昭皇帝的帝位，行为淫邪，操守不轨，《孝经》说：‘五种刑罚（古代五刑：墨刑【脸上刺字】、劓刑【割掉鼻子】、刖刑【砍去双脚】、宫刑【割掉生殖器】、大辟【处死】），应使用最厉害的一种，对付不孝。’周王朝襄王（二十任王）姬郑，不能讨他母亲的欢心，《春秋》遂说：‘天王出居郑国。’由于他不孝，才用‘出’字（《公羊传》说：“君王不出外，这里为什么说他‘出’？显示他不能孝顺母亲。”《公羊传》是一部奇异的书，它分析《春秋》，把每一个字都加上奇异的解释。一个普通平凡的“出”字，竟成了显示“不孝”，异想天开，使人咋舌。姬郑的逃亡，是一项宫廷政变，他弟弟姬带跟姬郑美丽年轻的妻子翟叔隗通奸，阴谋篡夺，他恐怕丧生在奸夫淫妇之手，才连夜溜掉，跟“孝”“不孝”无关），这是自绝于天下。国家比君王重要，今上陛下已不能承受天命、不能侍奉祖宗祭庙、不能把人民当做子女，应该罢黜。臣等请主管官员用一份太牢，具体祭告高庙（一任帝刘邦祭庙）。”
上官太后批准，说：“可以。”
霍光命刘贺起身，拜谢上官太后的诏书。刘贺说：“我听说：天子有耿直谏诤的大臣七个人，即令不守法度，国家也不会危亡。”（《孝经》上孔丘的话。）霍光说：“皇太后已经把你废掉，怎么还敢自称天子？”拉着他的手，解下他系带玉玺的四色佩带，呈缴给上官太后。然后扶着刘贺下殿，直出金马门，文武百官在后相送。刘贺向西拜辞说：“我太愚蠢，不能担当中央大事。”起身，坐上仪仗卫队的备用马车。霍光直送他回到昌邑宾馆，道歉说：“大王自绝于天，我宁愿辜负大王，不敢辜负国家。愿大王自爱，我不能长在你的左右。”十分感伤，流泪告辞。
１０ 群臣上奏章给上官太后说：“古时候，被罢黜的君王，都要放逐到偏远地方，使他远离政坛。我们建议：请把刘贺放逐到汉中郡房陵县（湖北省房县）。”上官太后下令，仍命刘贺返回昌邑，赏赐给他二千户，作为汤沐邑（这二千户人家的田赋税收，全部缴给刘贺），他当昌邑王时的全部财产，仍发还给他。姐妹四人，每人都赏赐一千户，作为汤沐邑。撤除昌邑国，改设山阳郡（郡政府