卖画有了一定积蓄的唐伯虎在苏州城北桃花坞建了一座优雅清闲的园子，这里景色宜人，环境幽静，一曲清溪从一片土丘前婉蜒流过，溪边几株红桃绿柳，很有几分山野之趣。第二年，唐伯虎又建成了一处别墅，虽然只有几间茅屋，檐下却悬着“学圃堂”、“梦墨亭”、“蛱蝶斋”等雅致的匾额。

    唐寅一生酷爱桃花，就给这处别墅取名“桃花庵”，自号“桃花庵主”，并作《桃花庵歌》明志：“桃花仙人种桃树，又摘桃花换酒钱。酒醒只在花前坐，酒醉还来花下眠。半醉半醒日复日，花落花开年复年……”他经常邀请祝允明、文征明等好友来此饮酒赋诗，挥毫作画，每次都尽欢而散。此时的唐寅日子过得清闲而超脱，却没想到自己在不久的将来会再一次身陷险境，命悬一线。

    明武宗正德九年，即公元1514年，唐伯虎在明宗室宁王的重金征聘下去了南昌，不久却发现自己陷入了宁王的一个危险而可怕的政治阴谋之中。为了逃脱险境，保住性命，唐伯虎不得已向历史上的孙膑和中的宋江学习，自毁形象，佯装疯癫，这样才得以成功脱身回到苏州。

    此后不久，宁王起兵反叛朝廷，结果在朝廷大军的打击下兵败如山倒，很快便被平定。

    唐伯虎虽然凭借自己的智慧躲过了一劫，但他从南昌回来后身体一直状态不好，常年生病，以至于不能经常作画来卖，加上又不善于持家理财，于是生活再一次陷入了困境，一度靠向好友祝枝山、文征明俩人借钱度日。同时他的思想渐趋消沉，转而信佛，自号“六如居士”，深感“一切有为法，如梦幻泡影，如露亦如电，应作如是观。”（语出《金刚经》）

    在此期间，著名书法家王宠经常接济唐伯虎，并迎娶了他唯一的女儿为儿媳，这成了唐伯虎晚年最快乐的一件事。

    明世宗嘉靖二年（1523年）的秋天，身体状况越来越差的唐伯虎应好友邀请去东山王家做客。在主人家里，唐伯虎碰巧看见了一幅苏东坡的真迹，其中有“百年强半，来日苦无多”之句。这两句正好触动了他的悲苦心境，回家后即卧病不起，不久便与世长辞了，一代风流才子就这样走完了他充满苦难的一生。

    可能人们觉得唐伯虎这一辈子太不幸了，所以就特意以他为主人公编出了很多快乐有趣的故事传说，希望借此来安慰一下他那颗被这个世界深深伤害的才子之心。