桃色事件对欧阳修确实有特别的杀伤力，而他又总是被这类绯闻轻易击垮，之所以如此，是因为欧阳修有软肋，喜欢与妓女玩乐。他是性情中人，天性率真，不拘小节，以为只要能写出好文章，就是天天和歌伎泡在一起也不在乎。欧阳修这种恣意享受、无所顾忌的态度，表现在词之创作上，便是写出了大量所谓“艳词”。
欧阳修晚年官运亨通，步步荣显。但当年“两上司谏书”时的英气和“庆历新政”时的锐气已经不再。熙宁三年(公元1070年)，64岁的欧阳修由知青州改知蔡州，这时，那个充满朝气、奋力拼搏的欧阳修早已不存在了。
嘉祐四年(公元1059年)秋的一天夜里，欧阳修在私第窗下闻秋风有感，写了一篇《秋声赋》，借肃杀之秋景，抒发其惆怅心情，由秋风联想到万物之凋零、岁月之易逝，从而感叹世事之艰辛、人生道路之坎坷多难。《秋声赋》是悲秋赋，更是伤心赋。欧阳修正是在这篇文章里表现了他从激进渐趋保守的思想历程，从而产生了强烈的退隐之念。
欧阳修老了。人总有老的一天，那一天来得太不经意。
现在，轮到他对更年轻的一代表明政治立场了，那就是他对“王安石变法”的保守立场和打压态度。欧阳修觉得自己比王安石看得更清楚、更透彻，他只能接受渐进式改革。欧阳修一生都有清明的政治理想，但在王安石“更高、更快、更远”的变法面前，他茫然失措，与韩琦、富弼等“庆历新政”的旧臣一起，纷纷从当年的激进立场转向循守，站在了王安石的对立面。在变法斗争异常尖锐的时刻，他差点被问罪，不过宋神宗和王安石宽恕了他，原因是他已经64岁了，已是一代文宗。
熙宁四年(公元1071年)，65岁的欧阳修如愿以偿得以归隐，终日荡桨泛舟在颍州西湖之上。“轻舟短棹西湖好”，欧阳修的《采桑子》一共写了10首，皆以“西湖好”为首句，可见，身心憔悴、屡经官场动荡的欧阳老人，回归自然之后是多么欢欣。他真的醉了，沉醉于人生终极的欢情，他成为最彻底的“醉翁”了。
仅仅一年之后，这位“六一居士”即撒手辞世。