李泌，字长源，自幼聪敏，博涉经史，工于诗书，常以王佐之才自命。李泌从小就有“奇童”之称，开元十六年（公元728年），他刚刚六岁的时候，玄宗便慕名召其入京。李泌入宫觐见时，玄宗正和宰相张说弈棋。为了考察他的才智，玄宗就暗示张说考考他。张说随口说了一句：“方若棋局，圆若棋子，动若棋生，静若棋死。”然后让他用“方、圆、动、静”四个字，也照这个样子赋句。李泌不假思索，张口就说：“方若行义，圆若用智，动若骋材，静若得意。”（《新唐书·李泌传》）

    此言一出，顿时语惊四座。玄宗大喜，对左右说：“这孩子的心智，远远超越了他的年龄。”当即赐给财帛，并特地颁了一道敕令，让他的父母善加培养。当时的著名朝臣张九龄、张廷珪等人，都对他非常欣赏，并与他结成了忘年之交，常亲切地称他为“小友”。

    长大成人后，李泌更为博学，尤其精通《周易》。但他却无心仕途，耻于像一般人那样追求功名，而是钟情山水，欣慕老庄、神仙之术，经常云游或隐居于嵩山、华山和终南山之间。天宝中期，李泌给玄宗上书，直言当时的朝政得失，玄宗才猛然回忆起当年那个“奇童”，随即征召李泌入朝，授予翰林待诏之职，让他到东宫辅佐太子李亨。

    就是从这个时候起，李泌和李亨结下了不解之缘。李亨对他非常敬重，常称其为“先生”。从严格意义上讲，翰林待诏只是文学侍从，算不上真正入仕，而玄宗也曾经想授予李泌正式官职，却被他婉拒。所以，李亨和李泌实际上一直是“布衣之交”。

    在东宫供职几年后，李泌因看不惯杨国忠的恃宠擅权，写了一首《感遇诗》讥讽朝政，结果得罪了杨国忠，旋即被逐出京师。李泌干脆脱离政治，从此躲到河南嵩山，开始了他的隐居生涯。

    此后的几年里，李亨和李泌就断了音信。

    当李亨从马嵬北上灵武之时，内心的彷徨和无助是可想而知的，所以他第一时间就想起了李泌，随即派人前往嵩山寻访，希望李泌能出山辅佐他。

    山河破碎、国难当头之际，李泌当然没有理由置身世外、袖手旁观。于是，他几乎没有任何犹豫，就跟着使者日夜兼程赶到了灵武。李亨大喜过望，旋即引入内殿，与他促膝长谈。从此，李泌便以一介布衣的身份留在了肃宗身边，“出则联辔，寝则对榻”，就跟当年在东宫的时候一样。肃宗“事无大小皆咨之，言无不从，至于进退将相亦与之议”。（卷二一八）

    很显然，此时的李泌虽然仍是布衣之身，但他对肃宗的影响力却远远超越了文武百官，甚至超越了宰相，完全称得上是一人之下，万人之上。肃宗多次要任命李泌为宰相，可李泌却坚决推辞。他说：“陛下像朋友一样对待我，说明我的身份比宰相还要尊贵，何必一定要我入仕为官，违背我的心志呢？”肃宗只好作罢。

    但是，随着时间的推移，肃宗朝廷的规模越来越大，权威也日渐提升，一切都在朝着正规化的方向快速发展，因而李泌的布衣身份也越来越让肃宗感到尴尬。有一次，肃宗和李泌一起路过军营，士兵们就指着他们窃窃私语，说：“那个穿黄衣服的是‘圣人’，那个穿白衣服的是‘山人’。”所谓“圣人”，意指皇帝；而所谓“山人”，意思就是山野村夫了。肃宗听到这样的话，心里当然是老大不爽，于是下定决心，无论如何也要改变李泌的布衣身份。

    肃宗把外面的议论告诉了李泌，然后说：“值此非常时期，我虽然不敢强迫先生当官，但还是请先生换一件紫袍（三品以上官服），以免下面的人说三道四。”李泌不得已，只好接受。可李泌刚刚把紫衣穿上，肃宗就笑容满面地看着他说：“既然紫衣都穿了，岂能没有一个名分！”随即从怀里掏出早已准备好的一道敕令，宣布任命李泌为侍谋军国、元帅