吕之悦性情坦荡平易，从不与人相忤。遇到能写文章的人，就一起谈文章，遇到通晓音律的人就一起谈音律，遇到善于琴棋丹青的人，就一起谈琴棋丹青。他常爱独行村落，遍游山颠水涯，碰到村翁溪曳、樵夫牧童，他也乐与谈说，周旋终日毫无倦色。他是钱塘人，北游数年，老婆屡次寄书劝归，都被东家一再挽留下来。当了安王的宾客后不久，妻子又来信催他，他便写诗呈安郡王：老婆书至劝归家，为数乡园乐事赊：西湖鲤鱼无锡酒，宣州栗子龙井茶，牵萝已补床头漏，扁豆犹开屋角花。旧布衣裳新米粥，为谁滞留在天涯？