昭枪在《啸亭杂录》卷10中也说“（公）今年已八十，犹好色不衰，日食肉数十斤，终日不啖一谷，真奇人也。”
孙静庵的《栖霞阁野乘》更是讲述了一个关于纪晓岚好色的精彩故事：“河间纪文达公，为一代巨儒。幼时能于夜中见物，盖其禀赋有独绝常人人者。一日不御女，则肤欲裂，筋欲抽。尝以编辑《四库全书》，值宿内庭，数日未御女，两睛暴赤，颧红如火。纯庙偶见之，大惊，询问何疾，公以实对。上大笑，遂命宫女二名伴宿。编辑既竟，返宅休沐，上即以二宫女赐之。文达欣然，辄以此夸人，谓为‘奉旨纳妾’云。”
堂堂的一代文宗，竟然好色好到了近似于“色情狂”的病态程度，甚至在皇帝面前也不加掩饰，这一现象到底是精神现象，还是单纯的生理现象？似有进一步解剖的需要。
在这个问题上，我以为前人的野史笔记都把它归之于单纯的生理现象，说他是“奇人”，具有这个方面的特异功能，云云，这是被表面现象给蒙蔽了的“只见树木，不见泰山”的泛泛之谈。我个人倾向于认为，作为一位才情冠绝一时的大知识分子，纪晓岚的“好肉”与“好色”，不能只简单地当成一种纯粹的个人生理现象，更多的应被理解为是一种精神现象，必须到纪晓岚的精神世界的深处寻找原因，这才能切中肯綮，找到这种现象的最合理的解释。
而要揭开这个现象的谜底，我以为首要的一点必须从纪晓岚在文化方面所取得几项成就的真实“含金量”说起。
纪晓岚为世人瞩目的文化成绩主要有两项：一是奉旨领导编篡了一部百科全书式的巨型图书——《四库全书》；二是在晚年写了一部“追录旧闻，姑以消遣岁月”的随笔杂记《阅微草堂笔记》。
关于《四库全书》，今人文怀沙老先生曾将其评价为是一部阉割中国古文化的集大成之作（大意）。实际上，这也并非是很新鲜的思想。美国著名汉学家费正清在其名著《美国与中国》（世界知识出版社2003年2月版）中，对于《四库全书》早就提出了相似的观点，并一针见血地指出—。