首先，刘邦一定不是一个为了女色就动摇社稷的人，为什么这么说呢?是因为刘邦之前做过一些事情可以为此提供证据。被项羽大军追杀的时候，刘邦和儿子刘盈、女儿鲁元公主，侍卫夏侯婴，还有一位车夫正坐在马车里逃命。可是人太多，马儿跑了太久，就越来越慢。要放弃几个人减轻马车的重量，才能活下去。刘邦在那一瞬间就做出了选择，他知道夏侯婴是侍卫可以保护自己所以不能丢，而车夫要负责掌控马车所以也不能丢，最后就剩下自己的两个从小养大的一双儿女了，这两个人胆子又小，在逃命的时候成为自己的累赘，所以刘邦迅速一脚就将两个儿女给踢下了马车。还有当初项羽押着刘邦的结发妻子吕雉来要挟刘邦，刘邦放弃了营救吕雉的性命，还放话说要杀就杀。可以看出刘邦是一个为了大业可以放弃一切的人，他怎么可能为了一个戚夫人就舍弃自己的江山!
那么刘邦为何会提出换太子呢?我们从他的话中可以找到蛛丝马迹，刘邦常常对大臣们说太子刘盈软弱仁慈，性子一点也不像自己，反而是只有几岁的赵王刘如意特别像自己。在刘邦的心里，太子刘盈不符合他的继承人的选择标准，所以刘邦才有了废太子的想法。这是刘邦经过实际的考证之后所做的决定，绝非仅仅是因为戚夫人的苦苦哀求。
后来，大臣们都反对刘邦替换太子，张良甚至为吕后想出了请“商山四皓”的办法，刘邦见后也只能说太子羽翼已丰，无法废掉。其实刘邦知道，张良的态度已经表明了朝中文人是不希望废太子的，他们隐隐的已经和太子刘盈站成一线，是“太子党”。张良无欲无求，是刘邦少数的几个信任的臣子，所以，刘邦知道有了张良的辅佐，就算太子羸弱也不会出太大的问题。