抗日战争结束后，三十三集团军到徐州地区受降。何基沣和军中从未有过联系、互相不知道身份的另一位中共秘密党员张克侠在对当时形势进行了分析之后，决定联合徐州地区的原西北军部队（包括西北军的老部队和一些原西北军将领统率的新编部队，总数近40万人），组成西北军大同盟，保存实力，相互支援，暗中与蒋介石抗衡。只是由于冯治安不敢出面当这个龙头，这个计划才未能实现。而蒋介石则对这一计划有所察觉，遂把徐州地区的原西北军部队加以分散和调动，又将冯治安的三十三集团军改编为第三绥靖区，调出徐州市，让第三绥靖区的部队摆在内战的最前线，司令部设在贾汪煤矿。

    蒋介石发动内战之后，第三绥靖区的部队成了进攻我山东解放区的先锋。何基沣不得不有意打败仗。对于这一点，冯治安当然看得明白，但又查无实据，只得将何基沣明升暗降，让他交出了军长职权，而当一个有名无权的绥靖区副司令。何基沣遂离开部队养病，并于1946年夏天到北平为老父办理丧事时见到了当时在北平军调处执行部工作的叶剑英和北平中共地下党市委书记徐冰。叶剑英向他传达了中央决定，要他仍然回到第三绥靖区去掌握部队，他的组织关系由原来的中原局转到华东局。同时商定，由任过他副官的李连城（这时在新四军五师任警卫营长）担任联络员。叶剑英告诉何基沣：“你回去之后，不要暴露。但到关键时刻，要毅然决然地领导起义。到时，陈毅同志会派人和你联系。关于组织起义的事，你可以和张克侠商量，他是非常可靠的。”

    何基沣按照党中央的指示回到部队后，就对已经被我山东解放军打怕了的冯治安做工作，要冯尽可能以保存实力为主，不要与解放军硬拼。他自己则通过李连城与党保持着联系，准备接受新的任务。

    当淮海战役即将打响之时，根据我华东野战军党委的决定，由野战军政治部主任舒同具体负责，要策动国民党第三绥靖区的部队在战役打响之时起义，以便我军迅速地渡过黄河，切断徐州与黄百韬兵团的联系，进而围歼黄百韬兵团。为此，舒同先后派出我华东局社会部交通巡视员朱林和华野十三纵政治部联络部长杨斯德为陈毅司令员的代表，前往贾汪，组织第三绥靖区部队起义。

    这时，第三绥靖区起义的主要领导者是副司令长官何基沣。还有一位重要人物，也是身居副司令长官要职，他就是另一位传奇式将军、中共党员张克侠。