纪晓岚野史中，他留给人们的印象是一位样貌出众，翩翩白衣的君子，对女性更是怜香惜玉，得到一众女子的青睐有加，一生之中桃花运不断，更有杜小姐的誓死跟随，何其幸运，享多重之福气。
在野史中不得不提的便是他与和绅的关系，正如上图所示，他和和绅就像是一对欢喜冤家样，一生祸福相倚，一生纠缠不清。纪晓岚从性格上来说，是既具有诙谐、幽默的，并且其才情才智也均为当时的佼佼者。
但有一点却是他的致命伤，那边是他的自命不凡，自命清高，也是因为这点，让纪晓岚与和绅的关系永远不可能和谐共处，但若要将他们完全推向对立面却又并不真实如此。可以说，和绅对纪晓岚的才智是十分佩服的，如有问题解决不了，他首先想到的便是去咨询下这个臭清高的纪晓岚，而纪晓岚虽然提供了合适的点子，却也会因此而捉弄和取消和绅。次数发生的多了，和绅渐渐也就怀了恨，记了仇，心下便向寻机会向纪晓岚复仇。
后期，在纪晓岚的一次偏私查案中被和绅的同党知悉，和绅御状一告，乾隆帝召见纪晓岚询问，纪晓岚知道难逃一劫，便坦然承认自己的徇私，并希望乾隆帝秉公执法，乾隆帝念起才华，没有将其诛杀，而仅仅只是流放外地，这也是纪晓岚一生中最为艰难的日子。
乾隆与纪晓岚是简单的君王和臣子之间的关系，如果非要说是朋友的话，那么一定是最为陌生的路人甲乙的关系了。乾隆本人是一个看中色相的人，而根据历史中的记载，纪晓岚是一个相貌非常丑陋的人（至少在清王朝那个年代中的审美观是非常丑陋的）。
并且纪晓岚浑身上下还有很多的病症，都是很影响他的个人形象的，虽然说古代不会像现代人这般地看中形象，但是要在皇帝身边工作，没有点形象是不行的，由此可见乾隆自然是不会与纪晓岚亲近的。而且历史中的乾隆曾经罢黜过纪晓岚，纪晓岚被贬去了新疆，如果真的是知己之交，又怎会有这样的故事呢？
所以乾隆待纪晓岚远远不像演绎中的那般光景美好。但是，纪晓岚确实帮着乾隆编写了《四库全书》以及其他的经典著作，其中的原因只能说是纪晓岚具有真正的才华和学识，并且在那个年代里面也需要吃苦耐劳的人，因此乾隆看中了纪晓岚便有了足够多的理由了。总而言之，乾隆与纪晓岚可以说是两个世界的人，乾隆待纪晓岚只能是差强人意的。
根据清史以及相关的野史中的记载，纪晓岚一生中共有七个孩子，主要是四子三女，其中的四子分别是：大儿子纪汝佶、二儿子纪汝传、三儿子纪汝似、四儿子纪汝亿；而古代的女子身份低微，基本上都没有名字，或者是只有乳名，嫁到夫家中便有了姓氏，因而纪晓岚的女儿的姓名已经不可考证了，也不知到底名唤如何了。
根据资料记载，纪晓岚一生共有四个儿子，分别是纪汝佶、纪汝传、纪汝似和纪汝亿。纪汝佶是纪晓岚的长子，生于公元1743年，卒于公元1786年，享年44岁。纪汝佶继承了父亲纪昀的聪明才智，纪晓岚在《阅微草堂笔记》中记载了纪汝佶的生平。