他知道挤走他的虽然是胡惟庸，而在暗中作为主谋的却还是李善长。他怀着一口恶气离京赴任，暗中却下定决心，要设法加以报复，出出这腔怨气。他虽远在广东，对李善长的所作所为，却时刻加以注意，一点也不放过。到洪武九年（1376），他把李善长的不法行为已经搜集到了很多，便和与他同时做过御史大夫的陈宁合疏参劾李善长，列举了李的种种罪行，认为李善长实已犯有“大不敬”之罪，不能不予以严惩。这一疏文递得正合明太祖的心意，他想到汪广洋与李善长和胡惟庸原本就很不和，如今有了这本劾疏，嫌隙就更显然，如果把汪又调回中书省，胡、李二人定多顾忌，再不敢相互勾结，常事欺瞒了。主意打定，立即便予施行，于是就在洪武十年九月，先将胡惟庸升为左相，同时又把汪广洋从广东调回，重进中书省，又任为右相。他这样做，用意很深。升任胡惟庸为左相，是因为办事还想靠他，予以晋升可以具见倚畀之意；再则，调回汪广洋，胡不免会有些惊疑，有此一升，也是加以平复。汪广洋调回，不过是作为耳目，是要让他起点妨碍作用的，但又不必过于妨碍，以致或竟会至阻碍正事，做个右相，稍有差别，倒是正好。他的算盘打得很好，但实际上却又一点也没能够如他所愿。

    汪广洋没能如明太祖所愿，有很多原因。从他自己这方面来说，他原是个小心谨慎的人，一力疏劾李善长是由于负屈被谪，一腔愤怒，才鼓起他的劲儿来的。既经官复原任，他自觉总算有了公道，便不愿再行多事，那样就不合乎“君子不过为已甚”之道了。更有甚者，他觉得自己那么力攻李善长，而疏入之后竟然毫无影响，可见他的根基之固，再去惹他，未免也太不明智了。他和胡惟庸共事的半年中，虽说受到过抑压排挤，但对胡的办事能力和圣眷日隆，则是印象极深；胡又晋升左相，更加深了他的深得帝心的印象。有了这样的看法，所以汪广洋对李、胡两人便都“敬而远之”，对他们既不表示亲近，也不敢再找麻烦，只想以虚与委蛇，作为自保的得计。从胡惟庸那一方来说，明太祖何以要把汪广洋调回中书省，用意所在，他是很清楚的，最初当然既很不快，也不免稍有顾忌。但是他对汪广洋一向颇为轻视，以前同为右相，他又是个新手，尚且没把汪广洋放在眼里，如今他的位置较高，更加觉得并不足惧。经过三两个月的观察，觉得汪广洋比以前似乎更加怯弱，于是不但不因而稍形收敛，反而更加恣纵起来。

    把汪广洋调回中书省重任右相，是明太祖解决帝权与相权之间的冲突的最后一着。这一着的失败，使他很是气恼，打算撤销中书省，废除宰相制的想法，至此已初步形成。但是废除历代留下来的制度，绝非易事，他只有耐心等待，寻求机会。但是他已毫不隐讳地公开表示对相臣的不满，常常敕责他们，为废除这一制度开始创造条件。恰好从他征战多年的大臣刘基（伯温）突然暴卒，一时有很多不利于胡惟庸的传说，朱元璋觉得这倒是个很好的机会，他想由此根究，也许便能打开局面。他认为刘伯温被胡惟庸命人用毒药加以谋害一事，汪广洋一定会很清楚，因此便把汪广洋召入宫中密加询问，想从他那里得到证实，并听到更多的细情。刘伯温与胡惟庸一向不和，刘的死有很多暧昧可疑之处，汪广洋原也是都知道的，但传说纷纭、事例不一，又都没个确据。他是个持身以正，小心谨慎的人，既不愿捏造事实，入人以罪，也不想传布谣言，行涉轻薄。他采用的是息事宁人、一了百了的办法，对于刘伯温被害一事，竟说一无所知，看来外间传言，纯属子虚。他还借机向明太祖进言，以为如此轻疑相臣，似非圣君所宜有。他这些话，大有站在胡惟庸一边，为他辩护的意味，使得朱元璋不由分外恼怒：调他回来，原是让他做个耳目，看住胡惟庸，随时作些密报；如今竟然成了胡的一伙，如此昧良辜恩，岂可加以容忍？大怒之下