吴建民于1939年3月底出生于重庆，在他出生一个月后，日本陆海军联合对重庆进行了惨绝人寰的轰炸，造成震惊中外的“重庆大轰炸”惨案。为了保住性命，母亲抱着被惊吓的儿子冒着隆隆的炮火躲进了防空洞，总算捡了两条命。

    吴建民在重庆长到7岁时，随父母回到祖籍江苏南京，进入了南京市南昌路小学读书。1951年小学毕业后，他进入了南京二中读书。1955年，北京外国语学院来到南京招生，班主任老师朱庆颐希望吴建民报考北京外国语学院。因当时“北外”是按部队院校的要求招生，要求很高，而吴建民一心想报考理工科大学，所以他当时对读“北外”犹豫不决。在老师朱庆颐的再三劝说下，吴建民参加了“北外”的考试，不想获得通过。

    北京外国语学院的前身是在抗大三分校俄文大队基础上创办的延安外国语学校。它是中国共产党为了适应抗日战争形势发展的需要而成立的，新中国成立以来，它一直是我国培养外语人才，特别是培养外事翻译的主要基地，当时属外交部管。

    1961年9月，吴建民从北京外国语大学法语系获得硕士学位后，被分配到团中央国际联络部，继而被派到匈牙利接替朱善卿担任中国常驻民主青联代表的法语译员。当时他才22岁，不但聪明好学，而且谦虚，肯吃苦，被后来到任的中国驻匈牙利大使韩克华一眼看中。

    韩克华曾是中共出色的地下党员，在抗日战争中任冀南军区武装部副部长等职、南下军区政治部副主任，解放后，他历任湖北孝感地委书记、湖北省委工业部长、副省长。1963年秋天，韩克华进入中央党校研究班学习时得知要调其出国任大使的消息，颇为惶恐，他觉得自己既无外交经验又不懂外文，很难胜任这样的工作，便给中共湖北省委写信谢绝。可当他从党校学成回到武汉，马上接到了赴外交部就职的调令，成为中国驻匈牙利的大使。

    为了把年轻的吴建民调到自己的手下工作，韩克华专门给外交部打了报告希望部里与团中央协调。团中央国际联络部不知从哪里探听到这个消息，又以团中央第一书记胡耀邦的名义给外交部打报告，要求把吴建民留在团中央联络部工作。时任国务院副总理兼外交部长的陈毅早就听说吴建民是个能干的小伙子，暗暗拿了主意：韩克华和团中央两边都别想得到吴建民，我让他回北京外交部。

    吴建民在布达佩斯工作了4年，于1965让陈毅的一纸调令调回国内，在外交部翻译室马牧鸣处长手下当翻译，一干就是6年。这期间他有幸担任毛泽东、周恩来、陈毅、李先念等党和国家领导人的法语译员。