辟疆在水绘园养身体的时候，早先四分五裂的天下，正被满族武士用铁骑和利剑收治。他每日早晚在园中散步，修剪花枝和锄草，然后就读书写字。他的身体在每日的劳动中很快恢复过来。当觉得精神完全恢复过后，便打算写一篇类似《哀词》的文章，以追悼小宛，当他最后决定写《影晦庵忆语》的时候，已是姗姗来迟的秋天了，看着窗外的残叶，他此刻的心境异常平静。

    与他宁静的心情相比，外面纷扰的世界正发生一场瘟疫，瘟疫过后必然是饥饿，到处是灾难之中的人民，他们犹如巢穴被灌水后的蚂蚁，扶老携幼地逃离家乡。

    清朝的军队正与各地起义军、以及明朝灭亡后由官僚地主们建立的偏安政权，进行各种规模的战争。

    那时，闯王李自成和另一支义军领袖张献忠早已战死，而他们手下那些将领各自另立山头，又拉起一面面不同颜色的旗帜。

    数十年来，连绵不断的战争，造成农业上的破坏，人民生活在水深火热之中，浩大的瘟疫，首先从贫瘠的陕北地区爆发，那里一直土地贫瘠、生产落后、工商业不发达，而王公、宫绅们对该地农民的层层盘剥、政府的征商和军饷加派也使得贫穷的人民吃不起饭，买不起药，再加上连年的水旱和天灾，瘟疫的发作已势不可挡。

    当瘟疫和灾祸从贫瘠之地蔓延到曾经是富饶的江南水乡时，江南这自古有鱼米之乡美称的地方，也成了的尸横遍野的地狱了，到处都是孤魂野鬼。

    顺治九年，如皋瘟疫弥漫。急得如皋陈知县如烟薰火燎，他在赈灾中显得一筹莫展，当他听说冒辟疆在崇祯九年的时候，曾办理过如皋灾荒的赈灾事宜，而且卓有成效，就向清廷奏请冒辟疆为官，清庭下令赐冒辟疆的官职。当陈知县命令差役把封书交给冒辟疆时，冒辟疆仍足不出户地呆在水绘园里写那篇令后世伤感的《影梅庵忆语》。

    冒辟疆接过封书时，并没有马上回答是否愿意任这一职务。他只是把那羊皮纸漫不经心地放在桌上，对差役说：“你先回去吧，过两天我会回话的。”

    三天后，冒辟疆对陈知县的答复是：可以担任赈灾的重任，但拒绝做官，陈知县马上就答应下来。

    冒辟疆前往如皋各地赈灾的时候，他的《影梅庵忆语》还没写全。他在办理赈灾事宜时，是依照宋朝的赵汴赈灾的方法，分门分处，分老幼病残，就地施赈。年轻有力的以工代赈，在各疫处立医局，如若有病死的，就随殓随葬。同时，他又会同陈知县邀请官绅、地主，分头征粮，寺庙也劝粮捐米。

    冒辟疆带头率先卖掉一部分田地房宅来助赈，并每日到各处巡视赈务，问医问药。

    灾赈过后，陈知县感谢冒辟疆赈灾有功，便又奏请朝廷。

    朝廷又诏赐冒辟疆官职，但他依然不变初衷，坚决不做清朝的官，不忘怀他对董小宛说过的惜名如惜身。

    他长时间里深居简出，潜心研读，一心一意写作情文并茂的《影梅庵忆语》。