搏杀的疆场，苏州遭受了前所未有的破坏，经济上的富庶与繁华随风而逝，文化上的精致与优雅亦如梦幻般消失了。原先异常喧闹的城西一带，以及通和坊东口至瓣莲巷北一带，战后已繁华不再，一派寥落，沦为荒郊。到20世纪20年代，郁达夫从上海到苏州旅游，他所看到的苏州已变成夸示“颓废美”的“sleepy town”（沉睡的古镇）。

    和苏州的命运相似，杭州从19世纪中叶开始加速走向衰落。1853年太平军“闯入”江南后，封锁了大运河上的交通运输，切断了贯通南北的经济大动脉，清政府和商人只好发展途经上海的海上运输，杭州因此丧失了以京杭大运河为南北命脉的古老商业网络中的战略地位。不仅如此，战争让1860年年初号称天堂的杭州，城市人口从80余万骤减至20万，一度仅剩下数万人。

    不仅如此，茶叶在出山之前的出山税也逐年递增。1853年，每引茶的出山税在9钱3分，1862年已经提高到每引2两零8分，1863年后则达2两4钱8分。并且，外销用茶还要收取每100斤2两5钱的关税，而洋商运茶交纳的子口半税，远低于徽州茶商所交之厘税，茶商隐受亏损，但却无可奈何。

    更为致命的是，光绪（1875～1908）年间，竞争者出现了。这些竞争者不是来自国内，而是来自印度、锡兰和日本。这些地区大面积引种茶叶成功。为提高竞争力，印度、日本对茶叶免税，锡兰不仅免税，而且还有补贴，以推广种茶量，从而对中国茶叶在国际市场上的地位发出了挑战。

    更为不利的是，中国茶叶质量下降，让中国茶叶的销售价格大幅降低，最高降幅达50%以上。在19世纪七八十年代，江西婺源、浙江天台、绍兴平水、安徽徽州等地成为上海出口绿茶的主要货源地，所占比例分别为35%、25%、15%、15%。这些茶叶2/3运往美国，原本途经钱塘江、大运河直达上海，但茶叶经过杭州时要增收“海塘捐”或“提防税”，茶商为了避开杭州的关卡，便绕道九江或宁波等地运到上海，从而使运费和出口成本增加。

    1874年宁波岸出口茶叶上升到9556吨，也就是这一年，宁波绿茶因茶叶色泽问题，受到英国检验部门的非议，宁波口岸的绿茶出口增长势头开始减退。

    到光绪（1875～1908）中叶以后，中国的茶叶出口额跌到了空前的最低点。对此，前来中国考察的英国海军少将、下议院议员贝思福在其《保华全书》中直言不讳地说，中国对出口茶加重税率，无异于自弃其土产，自绝其利源。而且外国炒茶用机器，让手工操作的中国茶了无效率的缺点一览无遗。1896年，两江总督刘坤一意欲借鉴外国机械制茶经验，明确下令以机器制造外销茶，但徽州茶商害怕费多效微，增加资本投入，望而却步，甚至激烈反对，此事最后只得作罢。故缺乏适应工业化进程的开拓意识，也是徽商倒退很重要的原因之一。

    就这样，在生产方式无可比较、洋茶倾销、税收有所区别等情况下，欧阳昱在其《见闻琐录·后集》中写道：“二十年来，以业茶起家者，十仅一二；以业茶破家者，十有八九。”

    与盐、茶一样，徽商木业和典当业的经营重点也基本集中在长江中下游地区。19世纪50～60年代的战乱，打乱了徽州木商、典当商再次复苏的可能。19世纪80年代，茶商由盛而衰，作为徽商标志性人物的胡雪岩在丝织领域的完败，标志着徽商开始走下坡路，但晚清安徽高官子弟孙多森和周学熙的表现，则让我们依稀看到了徽州这片土地上曾经受世族影响的痕迹。