挨了这一巴掌，立刻就哭喊起来嚷道：“你说我们有私情，可曾瞧见我同他睡在一处？我嫁到你家门时，可是带着清清白白的身子，你难道不知？如今却仅凭着一只手帕便要污我名声。这日子也没法再过了，我今夜便剪了头发，做尼姑去吧。”

    二人吵闹的厉害，惊动了杨乃武的妻子杨詹氏。杨乃武为了和小白菜幽会，常常借口深夜读书太晚要在书房歇息。所以杨詹氏并不知道二人的事。听到这边小两口吵架，急忙带了人来劝。

    捉贼拿脏，捉奸在床。葛品连没有证据，又害怕杨乃武的势力，当着杨詹氏不敢实说，只说是自己让小白菜腌菜，晚上回家的时候看到还没有腌，所以将小白菜痛打一顿出出气。杨詹氏不知就里，还耐心劝解，小白菜与葛品连只好点头，答应和好如初。

    葛品连虽然不敢与杨乃武翻脸，但却无法咽下这口窝囊气。回去便与母亲葛喻氏说了。葛喻氏平时就爱东家长西家短的传话，听葛品连一说，便将这件事频频和左邻右舍谈起，一时间巷闾遍传，流言四起。小白菜小户人家，倒没有什么，那边杨乃武听说了，却十分的不受用。

    杨乃武本是个极重名节的人，平日看到地方上不平之事，总是好管多说，伸张正义。在整个余杭县都是名声不错的。只因与小白菜有情人难成眷属，情不自持，才做下这样的事。没想到却被传开来，将自己与小白菜称作奸夫淫妇。

    虽然仅是风言风语，并未有真凭实据。但杨乃武也觉的廉耻丧尽，万人所指，出门办事都抬不起头来。为了名节与前程，竟断绝了与小白菜交好的心，再不敢与她有来往。

    过了几天，葛品连在外边看好了房子，便向杨乃武退了租，选了日子搬出杨家。迁入新屋。杨乃武作贼心虚，没说别的话，一口应允。