，愤而离营。经候补道邓辅纶牵线搭桥，投靠王有龄。王有龄随札令李元度回籍募勇，成十六营八千人，取号“安越军”，入浙作战。后来义宁收复，官文和王有龄都上疏替李元度辩护，朝廷复开除其处分，并实授浙江盐运使兼浙江按察使。后来曾国藩经过调查，发现李元度并未参战。

    李元度很快来到衢州，看过圣旨后，他先是沉默不语，继而双眼垂泪，终于掩面痛哭起来。

    左宗棠被李元度的举动弄得莫名其妙，不由劝道：“次青，你的苦处我知道，我会上折替你说话的，你快把眼泪收回肚子里吧。你是统兵大员，这个样子，成何体统呢？”

    李元度哽咽着说道：“季高有所不知，涤生参我，本是我意料之中的事。我兵败徽州，被革职后擅自离营已是不该。离营之后若回籍也就罢了，我偏又听了候补道邓辅纶的话入浙投靠了王有龄，这更是错上加错。王有龄命我回籍募勇，我因为对涤生怀有私愤，当时就答应了下来。依当时的想法，是想重新开始做给涤生看。可我千不该万不该，又听了王有龄的蛊惑，把新募的八千勇丁取号‘安越军’，这简直就是错上加错了！我一错再错，就算涤生容我，湘军的其他将领又岂能容我！我李次青走到今天这一步，全是我自己造成的啊！”

    左宗棠沉吟着说道：“次青啊，你这么做也不尽是错处。你随曾涤生办团练，又为王有龄募勇，还不都是为了大清国吗？你现在虽被革职，也只是暂时的。你先在我身边办些文案上的事，安越军呢？我先按旨裁汰几营；留下的呢，先让瑞将军统带，归军标建制。你意如何？”

    李元度止住哭声说道：“季高，安越军的去留全凭你一人处置。你是奉旨行事，无人敢有他言，你怎样处理都好。而我，却是已打定主意回籍了。涤生说得对，我李次青这个人，文理尚优，带兵这不是我的长项，我还是回去好好写些东西吧。这也算是我向涤生及所有湘军将领赎罪之举吧。”

    左宗棠一愣，不得不百般苦劝，李元度却决意辞归。左宗棠无奈，只好派亲兵十几人护送李元度回籍。李元度回籍后，当真埋首著书，不再过问兵事，终写成《先正事略》与《天岳山馆文集》二书传世，名重一时。

    李元度之事，虽使左宗棠对曾国藩心生老大的不满，却也无可奈何。这件事，毕竟是李元度有错在先，曾国藩是依法办事。但曾国藩并未因此而与李元度绝交，曾国藩不仅应邀为《先正事略》作序，两个人后来还结了儿女亲家。

    左宗棠后来叹息：“曾涤生就是有别于常人，公是公，私是私，毫不混淆。”