宁康元年(373)桓温病死，谢安不希望恒温的弟弟桓冲入朝扶政，于是不顾尚书仆射王彪的反对，请崇德太后临朝摄政，而实权抓到自己手中，在谢安和王彪的共同辅助下，东晋的局势慢慢安静了下来。
太元元年(377)年孝武帝已经十五岁了，他已经成年可以亲历朝政了，按照常理，临政的崇德太后应该下诏归政，朝政仍然由谢安主持，孝武帝对谢安很尊崇，但是已有直接掌权之志，从太元五年起，孝武帝开始重用自己的弟弟司马道子，先任命其为司徒，然后又让他录尚书六条事。特别是东晋军队在太元八年取得了肥水之战的胜利以后，谢安的威望达到了顶峰，由此也引起了险恶小人的诋毁，其中攻击最强烈的就是谢安的女婿王国宝。他在道子面前极力诋毁谢安，鼓动了道子挑拨离间，使孝武帝渐渐疏远谢安，于是东晋的大权渐渐地转移到了司马道子手中。
孝武帝认为道子是自己的兄弟，当然值得信赖，他把政事交给司马道子处理，自己却沉迷于酒色之中，不料道子也是嗜酒如命的狂徒，于是兄弟两日夜以酣饮为乐，朝政渐驰。
嗜酒之外孝武帝有迷恋迷信佛教，花费巨资修建佛塔，精舍，平时亲近的大多数是女巫，僧尼。尚书左丞王雅等大臣上书劝谏，但是孝武帝沉溺其中而无法自拔。
太元十年，谢安病死，司马道子被任命为都督中外诸军事。谢安已死，道子的权势日益膨胀，使得孝武帝逐渐对司马道子感到不安，但是他在表面上对道子依然十分崇敬，道子丝毫没有察觉到孝武帝对他的不满，仗着皇弟的身份，骄纵恣狂，有时间与孝武帝一同饮酒喝的醉醺醺的，尽失君臣之礼，这使得孝武帝更加不快，太元十五年，孝武帝挑选了当时很有名望的王恭出任兖、清二州刺史，率军驻扎在京口，暗中对道子加以牵制，接着又在太元十七年立皇子司马德文为琅琊王，把道子改封为会稽王，在东晋一代，琅琊王有着特殊的地位，晋元帝司马睿即位前就是琅琊王，此后皇位的继承人大多都是琅琊王，因此孝武帝把司马道子改封为会稽王无疑是降低他的身份。
然而司马道子却丝毫不加收敛，不仅动用巨资为自己修缮府第，而且听任心腹卖官鬻爵，聚敛财富，孝武帝对司马道子更加厌恶，但是碍于皇太后的面子，不忍废黜道子，于是提拔了自己的心腹王恭、殷仲堪、王示、王雅等人，把他们安排在朝廷内外重要的位置上，用以防范司马道子，司马道子也不甘示弱，把王国宝等人引为心腹，兄弟二人各自结党，已经无手足友爱之情，只是由于太后时常从中劝解，加上上述中郎将俆邈等人的上书，兄弟间的争斗没有进一步激化。