《中国青年》深深影响了他
江苏八中，一所学风严谨、教育质量很不错的中学。今日中国科学院的学部委员之中，有十多位便出自该校。
江苏八中的左翼势力也颇强。1926年冬，江苏八中的学生们上街宣传，胡乔木也参加了。胡乔木在讲演时，点名批判了军阀孙传芳，为此遭到逮捕。鉴于他年幼，不过十四岁，很快获释。此事表明，年纪轻轻的他，已是左翼阵营中的一员。
他的大哥胡达新也在这所学校学习，他参加了国民党左派。胡氏兄弟都热心于政治。
恽代英来到江苏八中演讲，给学生们莫大影响。恽代英是中共早期重要的领导人之一，主编《中国青年》杂志，江苏武进县人。他的演讲，富有鼓动性，使学生们为之振奋。胡乔木也是热心的听众之一。
从此，《中国青年》杂志成了胡乔木的密友。这是中国社会主义青年团的机关刊物，当时的发行量达三万多份。恽代英在《中国青年》上发表了一百多篇文章。萧楚女、邓中夏、张太雷、任弼时、李求实等担任编辑，也发表不少文章。二十多年后，胡乔木在延安成为《中国青年》的主编，这足以表明，当年的《中国青年》杂志，当年该刊主编恽代英的演讲，给予胡乔木多么巨大的影响力。
中共在这所名牌中学建立了组织。胡乔木读到了《向导》。《向导》是中共中央刊物，周刊，半公开发行。胡乔木在《向导》上读到陈独秀、李大钊、瞿秋白、蔡和森、张国焘、罗章龙等的文章。他也读了陈望道翻译的《共产党宣言》。他的政治倾向，日渐明朗起来。
1927年，大革命失败，军阀孙传芳占领了扬州，抓学生当兵。八中的校长叶维善决定学校停课，让学生们回家躲避。胡乔木随哥哥胡达新到镇江住了些日子。当他返校时，江苏八中已改名扬州中学，他进入了高中一年级。
高中分文科、理科。那时的胡乔木学理科，却又酷爱文史。他给校刊写诗，被吸收为校刊编辑。
1929年江苏大旱，胡家收不上租米，经济困顿。那时，胡家五个子女，有四个在上学。不得已，胡乔木则不得不休学，以便省下钱来供大哥胡达新上完大学。
失学，对于胡乔木无疑是个莫大的打击。幸亏校长帮了他的忙。校长教化学，让胡乔木做他的助手，批改实验作业，给他一些钱。这样，胡乔木在半工半读中读完高三。
临近毕业时，校方开除了几名学生，说他们是共产党。胡乔木为此写信给学校教务长，批评校方“甘当国民党的工具，把无罪的同学开除了……”这表明胡乔木的政治态度已很鲜明，表明他与共产党人有很多联。
1930年夏，十八岁的胡乔木从扬州中学毕业，考取了北平清华大学。