胡汉民以国民党元老之尊、以立法院院长之尊，仅因政见有异，被蒋介石说抓就抓，软禁七个多月之久，痛定思痛之余，决心要打倒蒋介石个人独裁，并不是仅仅为了雪个人之憾，在他看来，亦要为党国除去“一大毒疮”。他在一封密函中用暗语说：

    门与门系为中国致命一大毒疮，能请西医割去，是一治法，否则用中医拔毒(什么内托外消)、打消方剂，抑或见效。除却二者便无是处也。(《胡先生亲笔函电及批注》，哈佛燕京学社图书馆藏，转引自杨天石《寻求历史的谜底》，页五六五)

    门，用“武松醉打蒋门神”典故，隐指蒋介石，即不惜以“外科”或“内科”手术，来取掉蒋介石这个“大毒疮”，衔恨之深，可以想见。

    胡汉民于一九三一年十月十四日被释放后抵达上海，翌日驰电广州非常会议委员，承认国民党内“纠纷迭乘，政治举措失当”，希望党人“彻底觉悟，力图团结”。再过一日，公开批评蒋介石的南京政府应付日帝侵略，只有“三无主义”，即“无办法、无责任、无抵抗”。这样下去，“则必至国亡种灭而后已”。(参阅胡汉民《亡国之三无主义》，载《胡汉民先生政论选编》)蒋介石不抗日足以亡国，所以他要抗日反蒋以救国。他不会再与蒋合作，可见之于十月三十日的《致粤中央电》，他明言不会与汪精卫入京任职，而力言“迫某(蒋)辞职，并促制度上限制个人权力，打破独裁”！

    胡氏“打破独裁”的立场，自然更坚粤方要求蒋介石下野的决心，胡于十二月五日与粤方非常会议选出的中委，联名领衔通电，催蒋下野，解除兵柄。蒋果于十天之后，通电辞去国民政府主席、行政院长、陆海空军总司令本兼各职。

    蒋介石下野之后，宁粤合流，表面上出现各方合作，蒋汪胡携手的形象。但事实上，胡汉民留居香港，拒绝入京。他对蒋之复出以及蒋汪合作，不仅厌恶，而且决心倒之。当时刚辞去行政院长的孙科，对于蒋汪的向日退缩政策甚表忧虑，曾于密电中告诉胡汉民，蒋曾责令十九路军将领，不得“擅起战端”，后来军民奋战，“乃表示抵抗，然仍令十九路军将领只准抵抗，不必扩大”，认为“日方计划摧毁长江一带军事势力，结果南京中央必然崩溃”，所以建议在粤中另立政府。(电文全文可见于杨天石《寻求历史的谜底》，页五六八)胡汉民虽然没有另立政府，但继续积极活动倒蒋。他想统一西南各地实力派的力量，以与蒋汪南京政府抗衡，以抗日为号召，并借此攻击蒋汪的不抵抗政策。他还与华北的冯玉祥取得联系。冯主抗日甚力，对蒋之向日本委曲求全，甚表悲愤，也想联络西南倒蒋。(见张允荣一九三二年八月十八日《致展堂先生函》)此时冯已自徐州移居泰山，名为养病读书，实与在山东的韩复榘有所密谋，与胡自亦一拍即合。胡于一九三二年五月五日复函冯玉祥，有谓“过去四五年，只见有个人，而不见有党”，“凡所措施，无不出于个人私意”，此个人即蒋介石也，暗示如果倒蒋，“必竭诚襄助”。(胡函原件藏哈佛大学东亚图书馆)胡与北方的张学良、韩复榘、阎锡山、孙殿英、石友三之间，也互通音问，设计如何抵御气焰方张的日寇，如何去除劫国的“独裁之魁”蒋介石。(参阅杨天石《寻求历史的谜底》，页五七O)他还取得国民党海外支部的支持，同情他抗日反蒋的立场。可见他发展“反蒋”关系，十分广泛。事实上，他已着手组织新国民党，强调纪律、团结与反蒋，活动范围扩及江苏、浙江、安徽、江西、湖南、湖北、四川七省。

    南京政府的蒋汪合作，蒋主军、汪主政，也不如表面上看来那样和谐地分工合作。如周德伟所指出的，蒋仍遥控政治，“不脱军阀素习”、“军费占岁入百分之八十以上，各省封疆大吏，则一仍其旧，汪氏无置喙余地。”蒋“又推荐孔祥熙为中央银行