日本留学回来以后，把原来那个乡下婆子，那个老婆丢掉了，像傅斯年把原来老婆都丢掉了，可是胡适没有把他这个缠小脚的乡下老婆丢掉，乡下老婆就反客为主，就欺负起胡适来，欺负到什么程度啊？胡适跟朋友们一起聊天的时候，这个老婆可以进来，当众骂街，讲脏话，讲粗话，讲撒泼的话”。

    1961年5月，台湾一份报纸刊登一篇《胡适之伪装惧内》的文章，其中有这样的话：“留着冬秀（胡适的太太）作女皇，这是虚君，实权自在首相手中”。据说，胡适读罢不禁哈哈大笑：“这个人好像知道我过去的事情，大体都不错，但有些地方是胡闹了。”

    有一回，胡适随母亲冯太夫人去旌德县旺川村的姑婆家做客，恰巧一位吕姓的亲戚也来串门，看上了刚十多岁的胡适，认准这孩子将来要成她家的女婿。这位女戚的夫家姓江，称得上是旌德县的巨族，膝下有一女，名叫江冬秀，年逾胡适1岁，按胡适家乡的俗谚“宁可男长十岁，不可女大一年”来说，这是忌讳的。另外江冬秀肖虎，胡适属兔，旧法上也犯冲。为此，这门亲事就成了剃头担子一头热，女方要成，男方不依。

    胡适曾爱慕陈衡哲，他虽至死不承认，却给自己的女儿取名叫“素斐”。素斐即Sophia，也即“莎菲”，正是陈衡哲的英文名和笔名。

    新婚后，胡适写了几首白话诗，记闺房之趣，其中有一首这样写：

    夏志清在《小论陈衡哲》一文中推测焚稿的自传作者是陈女士陈衡哲。有人认为，这个焚烧自传稿件的“女朋友”不是陈衡哲，陈衡哲没有出现过“精神病态”，显然是朱毅农。

    美籍学者夏志清说：“任氏夫妇一直是胡适的至交，也是他事业上最亲信的左右手，他对任太太是不存一丝罗曼蒂克的幻想的。但任、陈婚姻如此美满，胡适自己家里有个病中不准他看书、写诗的老婆——相形之下，他免不了艳羡他们的幸福。他骗过江冬秀，给自己的女儿取名素斐（SOPhIA），虽不能说纪念他同陈衡哲那段旧情，至少也希望女儿长得像瓦莎学院优秀生莎菲一样聪明好学，而一点也不像她生母那样的庸俗。德刚道破胡适为爱女取名用心良苦这一点，实在令人心折。”

    胡适和陈衡哲认识于留学美国期间。陈衡哲在美国五所最有名的女子大学之——瓦沙女子大学（Vassa College）留学，专修西洋历史，同时学习西洋文学。在那里，她结识了胡适、任叔永（鸿隽）、杨杏佛、梅光迪、朱经农、胡先（马肃）等人，并以莎菲为笔名开始写作。

    1927年，素斐夭折后一年半，远在美国的胡适给妻子江冬秀写信说：“冬秀，我今天哭了女儿一场！梦中忽然看见素斐，脸上都是病容，一会儿就醒了。醒来时，我很难过，眼泪流了一枕头，起来写了一首诗，一面写，一面哭。忍了一年半，今天才哭她一场……”并在信后附上诗《素斐》一首，有研究者认为，哭女儿是真情迸发，诗素斐，可到底是为哪个Sophia？

    在胡适身边，还有一位单恋胡适的女性，她就是胡适的好友朱经农的胞妹朱毅农。民国时期，朱经农曾任上海市教育局长、湖南省教育厅厅长。曾任中华民国国务总理的熊希龄夫人朱其慧，是朱经农和朱毅农的姑姑。

    1915年9月，梅光迪（觐庄）等人和胡适的“文学革命”笔战中，陈衡哲也支持胡适的主张。胡适说：“民国五年（即1916年）七八月间，我同梅（觐庄）任（叔永）诸君讨论文学问题最多，又最激烈。莎菲那时在绮色佳过夏，故知道我们的辩论文字。她虽然没有加入讨论，她的同情却在我的主张一方面。……她不曾积极参加这个笔战；但她对于我的主张的同情，给了我不少的安慰与鼓舞。她是我的一个最早的同志。”（陈衡哲的短篇小说集《小雨点》胡适序）