当时已死，也被开棺戮尸，方孝标之子方登峰并其妻、子方式济一齐发配卜奎（今黑龙江齐齐哈尔）；为《南山集》作序的方苞等人免予治罪，入旗；出钱刊刻《南山集》的龙云锷、方正玉也被流放。方式济所著《龙沙纪略》一书，后被收入《四库全书》，是《方舆书》中很有名的一本著作。方式济的儿子方观承每年都徒步出关探望父亲、祖父，因此而亲历山川险要，饱阅人情世故，后来竟然因为阅历官至直隶总督，成为乾隆一朝不经科第、不由军功而官至封疆大吏的极少数汉人之一。方家人走后，吴兆骞的生活更加孤苦艰难。他感慨自己的身世，写下“寄羁臣之幽愤，写逐客之飘零”之句，由此更加思念江南的故乡，殊不知江南已经今非昔比，物是人非。鳌拜等顾命大臣崇尚武治，对江南士民的态度较之顺治皇帝更为激烈。

    先是顺治十八年（1661）春，庄廷私著明史案发。庄廷，浙江乌程（今湖州市）南浔镇人，出身一个巨富而知书的家庭。入清以后，庄廷趁明天启朝大学士朱国桢一门败落之际，以银千两将朱国桢生前所撰明史稿本购得，并广聘名士，增补天启、崇祯两朝史事，辑成《明史辑略》，未及刻印，庄廷就于顺治十二年病故。其父庄允城费时五年，于顺治十七年冬将书刻成，刊行于世。由于书中有诋毁贬斥清朝的文字，如称清太祖为建州都督，直呼努尔哈赤；再如自天命至崇德皆不书其年号，相反，于南明隆武、永历则大书特书等等，因而书刊行后，不断有好事之徒前来恐吓，借以勒索钱财。当时归安县知县吴之荣罢官居家，欲通过索诈而偿还八万两赃款以复官。事情不成后，他便指使前任浙江粮道李廷枢向湖州知府陈永命告发此事。不料，陈永命早已接受了庄允城数千金的贿赂，拒不审理。吴之荣恼羞成怒下，将购得的初刊本呈交法司。清廷得悉消息后，遂兴大狱。凡刊刻、参校、藏书、售书者，以及失职之官吏，均株连治罪。此案牵连极广，直至康熙二年（1663）才最后了结。

    一波未平，一波又起。顺治十八年（1661）六月初三日，江南“奏销案”起。清军南下时，在江南遭到过激烈的抵抗，是以对江南之地征收的赋税格外重，以苏州、松江等府为最。即使是鱼米之乡，也经不起苛捐杂税的反复折腾，因此往往是旧赋未清，而新赋已近。仅两江总督郎廷佐上任后，在校阅赋籍时，发现江南自顺治八年至十三年积欠钱粮已经多达四百余万。但清朝廷因战事频仍，财政窘急，多次严颁催征积欠之令。江宁巡抚朱国治为了逃避责任，造了一份名册，上面列着苏州、松江、常州、镇江四府和溧阳县绅钤之“抗粮”不交者一万三千五百余人，衙役人等二百五十四名，要求朝廷按名单严提究拟。清朝廷看到名册后，批示道：“绅钤抗粮，殊为可恶。”经刑部察议后，决定现任官降二级调用，士绅黜革，衙役照章治罪。于是，四府一县之士绅被黜籍者达万余人，被逮者也有三千人，得免者寥寥无几。整个江南为之震动。顺治十六年（1659）的进士第三名（探花）叶方霭，仅因欠银一厘即被黜免，因此民间有“探花不值一文钱”的说法。

    叶方霭，江苏苏州昆山人，与吴兆骞同科中举。之后也被押到北京参加了瀛台复试，不过他顺利通过了考试。但久居关外的吴兆骞并不知道这些。他久戍思归，也渴望能够像方家人一样用钱赎归，但一来赎归要等机会，二来他被流放前，家产已经全被抄没，彻底破产，要筹到巨金，实在是难事。幸好到了康熙二年（1663），他的妻子葛采真和妹妹吴文柔从苏州千里迢迢赶到关外探亲，带来极大的安慰。葛采真来时“携来二三婢仆，并小有资斧”，吴兆骞的生活这才稍有改善。次年，葛采真生下一子，取名吴桭臣。有了自己的孩子后，吴兆骞得到了启示，他开始了授徒生涯，专教那些流人子弟读书写字，并与后来发配到宁古塔的张缙彦