中央领导之间的斗争，李力群的厄运接连不断而来。1959庐山会议上，把高饶反党联盟的“领袖”彭德怀揪出来，要打倒彭德怀，这自然要和高岗挂起来。一天下午，安志文奉命来劳动部接李力群回到宽街家里，宣布不准上班，不准外出。她看到公安部几个干部住进院内南屋，把电话线接到她住的北屋电话上。这种不寻常的侵权、监控行为，使李力群心里很不安，预感到又有什么事降临到自己头上。她怯生生地问安志文为什么这样？是怎么回事？安说：彭德怀在庐山会上反毛主席，反党中央。你在家好好想想，不要接触什么人……，并递给她一个“提纲”，要她按提纲写出彭德怀和高岗如何阴谋勾结进行反党的，要揭发交待。李力群哆嗦着手接过提纲，边看边说：彭总和高岗接触最多是1950年和51年，只知道他们一个是志愿军司令员，一个是负责后勤的，彭总在我们家里(沈阳)来过，彭总和金日成一块也来过，听说都是谈抗美援朝的事，我哪能知道他们怎么勾结反党的。他们在房子里谈，门上站的岗，连秘书也不让进去，我怎能揭发呢？安又问彭德怀和习仲勋的关系，李说：不知道。

    此后，每星期孩子回来，公安干部都得审问谁去学校看过你们？谈些什么？问过什么？

    过了几天，一天晚上安志文开来汽车把李力群接到彭真家里，她看见主管政法的彭真、管人事的安子文和公安部副部长徐子荣都坐在沙发上，威仪的很。李力群说，她一进门害怕的肉惊心跳。彭真首先发问：今天找你来问问彭德怀与高岗的关系问题。彭德怀在庐山会议上反毛主席、反党，你知道彭德怀与那些人的关系？你知道彭怀德与林彪、陈云的关系吗？高岗死前给你讲些什么？高岗与彭德怀如何反党？

    彭真提出一连串的问题，特别提到“反党”的彭德怀与台上的林彪、陈云的关系时，心里更害怕了，他们竟敢查问走红的林、陈？因为林、陈在东北工作时和李力群有来往，在北京期间，陈云常来家里和高岗交谈，谁搞什么阴谋，自己怎能知道，让她一个女流之辈知道还算什么阴谋。她边想边说：彭政委(东北任过政委)，我所知道的都是些工作，其他关系我怎能知道。最后彭真说：“今天晚上的谈话不准向任何人讲。”

    这实际是以彭真为首集体给李力群谈话。李回家后，想来想去想不通，林彪、陈云和彭总又搞什么明堂？政法、公安出面？她终日不宁，一直担惊害怕，不知什么时候、什么人来审问？

    李力群就是这样，在家里由公安部几个人监视、监听下软禁了三个月。高岗的“罪愆”，压的李力群几乎难以喘息。

    这就不难看出，党内斗争的残酷性。彭德怀也不过是写了一封实事求是反映情况的信，大搞兴师动众，连死去几年的高岗家属也不放过且采用政法、公安手段来对待，为打倒彭德怀，挖空心思，无所不用其极。

    1962年秋，在反对“习贾刘集团”前，劳动部接到一个电话，叫李力群赶紧回家。她是狼咬怕的羊，精神紧张地赶回来，看见门前停一辆红旗小轿车，心想又是什么大人物登门？她说：“当时骨石也软了，心慌不停。”车门推开钻出来的是林彪的老婆叶群。叶群说：林总让我接你和孩子到毛家湾玩玩，他想看看孩子。李力群说，她心里稍平静些，在车上心仍在不安。自从她搬出东交民巷后，除陕北的同志来看望过，彭总派一军人来家里盘问孩子好不好，生活有什么困难，再就是安志文问问情况，林彪自1953年在杭州见过再未见面，怎么突然来接她去林家？预感又出什么事了？到林彪家见林彪坐在沙发上，让李力群坐下，叫林豆豆和力群的孩子出去玩。

    林彪问李力群：高岗是怎么死的情况，搞管教的是那些人？安志文在那里(指李家)干了什么？高岗死后谁看过你和孩子？有什么人找你谈过什么话等等