在作家之中，王蒙是特殊的一个，他既当过“右派分子”，又当过文化部长。他用特殊的视角观察胡乔木。特别是在他成为文化部长之后，跟主管意识形态的长官胡乔木有了更多直接的交往。

    2005年1月，人民文学出版社出版了王蒙的《不成样子的怀念》，内中写及对于胡乔木的怀念。

    王蒙说及他跟胡乔木的最初交往。那时候，胡乔木给他的印象是“知识丰富，思路清晰”：

    1981年我第一次接到了乔木同志来信，信上说他在病中读到了我的近作（看样子读的是人民大学编印的《王蒙小说创作资料》，一本以教学参考资料为名广为行销的“海盗版”书籍），他对之很欣赏。他写了一首五律赠我，表达他阅读后的兴奋心情。

    不久我们见了面。他显得有些衰弱，说话底气不足；知识丰富，思路清晰，字斟句酌，缓慢平和。他从温庭筠说到爱伦坡，讲形式的求奇和一味的风格化未必是大家风范。他非常清晰而准确地将筠读成yún而不是像许多人那样将错就错地读成jūn。他说例如以托尔斯泰与屠格涅夫相比，后者比前者更风格化，而前者更伟大。（大意）我不能不佩服他的见地。

    我问他对于典型问题的看法，他说，这个问题谁也说不清楚，他说“典型”是外来语，然后他讲了英语stereotype，他说这本来就是样板、套子的意思。他发挥说，比如说高尔基的是典型的，但高尔基最好的小说不是，而是《克里姆·萨木金的一生》。然后他如数家珍地谈这部长而且怪的、我以为没有几个人读得下来的小说，使我大吃一惊。

    说到个人爱好，胡喜欢黄自和贺绿汀，把一盒复制的黄自歌曲的磁带赠送给了我，并批评音乐界的“门户之见”。胡喜欢看芭蕾舞，并向我建议请舞蹈团以抗震救灾为题材搞一个舞剧。胡的欣赏品位是高的，所以他对文艺界的某些棍子腔调斥之为“面目可憎”。我曾经开玩笑说，胡乔木是贵族马克思主义者，而棍子们是流氓“马克思主义者”。罪过！

    与此同时，乔木又不断地劝诫我：在文学探索的路上不要走得太远。1981年，我的小说发表后他写信来，略有微词。他又把一期载有高尔斯华绥的一篇评论文章的译文的《江南》杂志寄给我，该文的主旨似亦在主张“大江大河是平稳的，而小溪更多浪花和奇景”，我已记不清了，反正是不要太“现代派”。我想，这对于一心追新逐异的浅尝者们，还是有教益的。

    胡乔木还曾托付一位与我们都相熟的老同志口头转达“让王蒙少搞一点意识流”之类的意见。我毫不怀疑他在“爱护”我，乃至有“护君上青云”之意。

    自从王蒙成为文化部部长之后，他跟胡乔木的交往就更多了。王蒙回忆了胡乔木对作家、诗人、导演、演员的种种关心之情：

    此后由于我也忝列于某些有关文艺工作的“领导层”之中，便与胡发生了更频繁的接触、交流与碰撞。1985年，作协“四代会”开过，一次胡找我，要我把一篇反对无条件地提倡“创作自由”的文章作为《文艺报》的社论发表。此次，他谈到了他去厦门时到舒婷家拜访舒婷的事，他说他的拜访是“失败”的。我想他的意思是指他未能在政治与文艺思想方面对舒产生多少影响。但我仍然感到，他能去拜访舒婷，如不是空前绝后的，也是绝无仅有的。我甚至主观地认为，他的“失败”论是一种防护姿态，以免因这一拜访受到某些面目可憎的人的指责。80年代以来，舒婷亦多次受到批评，以“大是大非的问题不能朦胧”为由批判“朦胧诗”，与前述的以“建设有中国特色的社会主义”为由批现代派逻辑一致，语言一致，版权归属一致。

    据说，胡对舒婷是很友好的。他说：“如果这样的诗（指舒诗）还看不懂，那就只能读胡适的《尝试集