1923年，胡适来到南方养病，经常栖息于沪杭两地，再一次见到了曹珮声。离婚后的曹珮声继续在杭州第一女子师范学校求学，这一变故让受饱受办婚姻之苦的胡适又看到了爱情的希望之火。曹珮声离婚后第二年的4月29日，正是杭州城春光最明媚的时候，胡适出现在了西湖边上。胡适的乡邻好友，曹珮声的亲戚，著名诗人汪静之曾说：“胡适来杭州的目的是为探视独居的‘小伴娘’。”

    到了1923年的5月底，胡适再一次坐上了开往杭州的火车，出现在了烟雨朦朦的西湖边上。6月下旬，各个学校放假后，胡适终于在杭州南山的烟霞洞边等来了心中的爱人曹珮声。

    对于这段婚外恋，胡适有诗记之：

    曹珮声终身未再嫁人，她至死都把对胡适的爱珍藏在心底。杨林桥，位于胡适家乡安徽绩溪上庄村的村口，1965年6月25日，杨林桥被山洪冲毁，曹珮声捐献了自己的积蓄，重修杨林桥。

    杭州西湖南山，有三处名洞，为水乐、石屋和烟霞，其中烟霞洞风景最佳，以朦胧中的烟霞为美，清修寺在烟霞洞的南边，十分安静，寺里的僧人仰慕胡适大名，便把大殿东边的两间小斋房出租给了胡适。在这里胡适与曹珮声开始了他们的同居生活。

    不知道何时朱毅农何时爱上了胡适，只知道结局：单恋胡适多年而发疯，最后染病身亡。这真是一个令人悲伤和绝望的结局。这个秘密只限于跟胡适最要好的朋友知道，胡适的日记和家书中半遮半掩地记录了几笔，我们借以管窥这位薄命的红颜。

    徐志摩看出好友在杭州有了情人，便鼓励胡适要“革命”，但是与曹珮声相爱的胡适想要冲破礼教的束缚，却又缺乏勇气。因此胡适曾自我安慰：“情愿不自由，也是自由了”。

    1973年，曹佩声病逝于故乡安徽绩溪。临终前她留下遗言，一定要把她安葬在杨林桥边的那条小路旁，因为那是胡适回家的必经之路。她曾经委托好友汪静之，将她一直珍藏着的一大包与胡适来往资料，在她死后焚化。这段刻骨铭心的相思，她珍藏了一辈子，死后也随她带去了天堂。

    胡适虽然是中国现代较早接触西方文化的人，但他又深受中国传统道德的影响，在面对自由的爱情和旧式的婚姻这个问题上，他始终表现出一种矛盾。

    后来女方请出了江冬秀的老师——胡适的本家叔叔胡祥鉴前来说项。这人巧舌如簧，东三西四地扯了一大堆吉祥话，硬生生地把胡适的母亲冯太夫人说得动了心。于是，按照当地的习俗，冯太夫人正儿八经地要来了江姑娘的生辰八字，请先生开课算过，结果出人意料地好。冯太夫人还不放心，又将江姑娘的八字与其他几个候选媳妇的八字一起放到竹升里，往灶司老爷座前供好。几天后，才虔诚地用竹筷从竹升内夹出一个写着姑娘八字的纸条，打开一看，仍是江姑娘。于是，胡适的婚事就这样定下了。