刘贺入殿后，被废黜已成定局。史载，侍御数百人皆持兵器，列于殿下。接着百官上殿，尚书令宣读霍光等群臣所奏，其中列举刘贺“行淫乱”等罪状，并直言“当废”刘贺。
皇太后首肯后，刘贺还曾争辩，但已无力反抗。霍光“乃即持其手，解脱其玺组，奉上太后，扶王下殿，出金马门，群臣随送”。至此，刘贺遂被废黜。
后世研究中的质疑
事实上，对于刘贺因“行淫乱”而被废黜的说法，后世史家已有人提出质疑。
历史文本中的疑点其实颇为明显。按前文所述，由皇太后下诏及主持废刘贺，似乎合理。但事实上，此处的皇太后乃汉昭帝上官皇后，而她另一个身份是霍光的外孙女。据廖伯源考证，上官皇后当时年龄不过十四五，“只是霍光之傀儡”。
近代史家吕思勉就曾在所著的《秦汉史》中明确指出，“史所言昌邑王罪状，皆不足信”。
而史学家廖伯源则说得更为明确。在其所著的《昌邑王废黜考》中，有这样的表述，“《汉书》多言昌邑王贺以行淫乱见废，实则昌邑王贺见废之原因，是其与霍光之权利斗争”。
他认为，刘贺入京继位，欲行使皇帝之权力，又亲信昌邑旧臣；而霍光为保持权势，“非废昌邑王贺不可”。
从考古证据看刘贺的“荒淫”
南昌西汉海昏侯墓的发现让后人有机会再次检视这段历史。
对此，有报道指出，刘贺墓出土文物所反映出来的刘贺却与史书上的记载有所不同。而秦汉考古学界和秦汉史学界专家学者普遍认为，刘贺被废黜并非因其荒淫无道，而是触怒了权臣霍光。
在刘贺墓主椁室的西面出土了中国考古迄今发现的最早的孔子像。根据汉代“事死如事生”的葬俗以及“东寝西堂”的椁室结构，主椁室西面模拟的是刘贺生前会客的场所。对此，海昏侯墓考古发掘专家组副组长、陕西省考古研究院研究员张仲立在接受采访中指出：“崇儒在当时是上流阶层的一种时尚，屏风被摆在会客室，至少证明刘贺是尊崇圣贤的。”
此外，墓中还出土了整套乐器，大量竹简、木牍。海昏侯墓考古发掘专家组组长、中国秦汉考古学会会长信立祥在接受采访时表示，从出土文物能判断，刘贺受过良好教育，汉书上也有关于他“簪笔持牍”形象的描述。