这位壮年退位的赵王，逐渐找不到自己的位置，回想起当年在赵国呼风唤雨的日子，实在心痒痒，就将自己想要构建一个二元政治的社会的想法告诉了肥义。此时的肥义已经是赵惠文王赵何的臣子，是辅佐赵惠文王做一个好王的臣子，他绝对不会同意赵武灵王这样做的，因为这会打乱赵国的政治体系，将赵国拉入无底深渊。见到自己的提议被拒绝，赵武灵王也很是生气，他觉得这个赵王的位置是自己让给赵何的，现在拿回来也是天经地义，但是他也听进去了一点肥义的话。
赵何在肥义的辅佐下，在接手了赵国以后，已经深得民心和臣子们的支持，相反的是，原来支持赵武灵王的臣子们都纷纷倒戈赵惠文王。赵武灵王越来越郁闷，就想到了自己的大儿子赵章，他想起来当初这个大儿子还是太子，要不是自己废掉了他的太子之位，他就是赵王了。赵武灵王料想赵章不服气，居然想劝赵惠文王将代郡分给赵章做封国，让赵章在代地称王。赵武灵王的这一连串的行为大大扰乱了赵国的政治，他们两个还联合起来谋害赵惠文王，赵惠文王没有办法，只好处决了赵章，饿死了赵武灵王。