有一次，秦始皇设宴招待群臣，众公子和胡亥都参加了，宴会结束，其他公子均依礼退下了，唯有胡亥看见在殿门外整齐地排列着群臣依礼脱下的鞋子，不管三七二十一，借着酒劲，把群臣的鞋子踢得横七竖八。小处可以见大，后来胡亥治理天下，结果硬是像他踢鞋一样把国家“踢”得乱七八糟，最后把自己的性命也给“踢”飞了。对他的胡作非为，当时就“诸侯闻之，莫不太息”(贾谊《新书·春秋》)。
史料有限，我们不知道胡亥更多的恶劣行径，但从他后来的胡作非为大概也知道他可能小时候会有“小儿多动症”，老是坐不住，从小就是这么一个胡作非为的“混世魔王”。可是，他虽然才学、德行什么都不具有，却具有天生的优势：他是秦始皇最小的儿子。而且根据《史记·蒙恬列传》所载，蒙恬的兄弟蒙毅曾经因力阻秦始皇立胡亥为太子而获罪。可见，秦始皇爱胡亥不浅，而且居于他子之上，连他最后一次出巡，也是带着胡亥的。
据《史记》所载，胡亥继位时是21岁，这个“四体不勤，五谷不分”的傻乎乎皇子，居然敢于发动政变，进而登上帝位，是“英明一世，糊涂一时”的秦始皇所梦都想不到的。
因为曾经有一句谶言：“亡秦者，胡也。”秦始皇就派将军蒙恬发兵三十万人北击匈奴，夺取了黄河以南之地，还派了惹自己生气的扶苏去监军。可他万万想不到，这个自己百般疼爱的胡亥才是帝国的掘墓人！
秦始皇三十六年(公元前211年)，即秦始皇死前一年，有块陨石从天而降，有人在上面刻字说：“始皇帝死而地分。”他听说了，尽诛石旁居民，还燔销了这块陨石。当年秋天，有使者从关东夜里过华阴平舒道，有人持玉璧拦住使者说：“帮我送给滈池君。”这个玉璧是八年前秦始皇祭祀江神而沉到长江里的，现在是物归原主。其后又说：“明年祖龙死。”秦始皇听了使者的报告，默然良久，依然嘴硬说：“山鬼固不过知一岁事也。”退后又说：“祖龙，是人之先也。”在巡游中，他曾经梦见与像人的海神战斗，他占梦后，令入海者带着捕巨鱼的工具，自己以连弩等候大鱼一出就射杀之。到了之罘，终于射杀了一条巨鱼。凡此种种迹象，都预示着秦始皇命运的不妙，可他依然我行我素，不把它们当一回事，也没有把继承人的问题摆上重要议事日程。