沪之念，口口声声地说要回上海。他这一决定使杜月笙大为不安，惟恐胡叙五回大陆引起无谓的麻烦与谣言，尤其旅港初期，胡叙五兼为杜月笙掌管机密，他晓得的事情太多，又怕共产党对他加以利用。

    因此，杜月笙便亲自奉劝叙五兄没这必要，不要冒险自陷共区！他一再恳切挽留胡叙五，但是，胡叙五辞意颇坚，杜月笙无可奈何，又叫跟胡叙五谈得来的长子维藩和万墨林两人从旁劝阻。

    万墨林劝驾不曾发生作用，便由杜维藩接手，他约胡叙五到外面吃咖啡。

    杜维藩直打直地和胡叙五谈判，他问胡叙五：

    “叙五兄，你说老板从前待你好吗？”

    “很好。”

    “那么，你是否嫌比老板现在待你不如从前了？”

    “我没有这个意思。”

    “叙五兄，”既然是多年交往的自家人，杜维藩便坦坦白白地说，“老板从前待你好，是因为从前的路子粗，进账多，日子好过。现在跟从前大不相同了，现在老板在香港，一点进账都没有，就靠带出来的那点钱，天长日久，坐吃山空。老板自家的日子不好过，跟他的人当然要比从前差一点，好在有粥吃粥，有饭吃饭，大家同甘苦共患难，所以我说你最好不要在这个时候离开，免得人家批评你不够义气。”

    胡叙五并不否认杜维藩所讲的话有道理，但是他去意已决，无法挽回。劝阻无效，胡叙五还是辞去了一干十二三年的杜月笙秘书一职，他悄悄地回了上海。

    机要秘书出缺，使杜月笙大伤脑筋，幸亏早年即曾在杜公馆任过秘书的邱访陌，这时也在香港，杜月笙便去请了邱访陌来，接替胡叙五之职。但是，这一时期许多昔日的朋友和部下一个个跑回了上海，这使得病榻上的杜月笙心情总是阴霾霾的。