儿子勾结，控告吕惠卿勒索华亭商人五百万缗。朝廷降吕惠卿官，出为太守。邓绾以吕惠卿如此轻易逃过，心有不甘，乃联合吕嘉问请求重新审问，将吕惠卿羁押在京师的御史台监狱中。

    一度权势炙手可热的小人权要，一一遭到罢黜，邓绾也非例外。邓绾还依然是精力充沛，他亲眼看到吕惠卿垮台，又看出皇帝对王安石也日形厌倦。他以天纵阴谋之才，洞烛机先，心想下一个身揽大权的人必是王安石的儿子和女婿。他上一表章，请皇帝将此二人升迁重用。但是王安石和皇帝对邓绾的变节背信早已厌腻，不但不心存感激，反将他罢官斥退。邓绾现在对人性应当是失去了信心吧！

    吕惠卿在御史台监狱等待审判之时，他对王安石发出了最后的一击。原来那些年他保存了王安石的一些私人信件，以备敲诈之用。现在他把这些信都呈交给皇帝，控告王安石在皇帝背后图谋不轨，因为有几封信上有“无令上知此一帖”。皇帝对这些纷乱如麻的事早已厌恶，而今在这些信上的发现，真使皇帝对王安石第一次发了脾气。王安石痛骂自己的儿子，不该背着他胡乱攻击吕惠卿。他儿子显然不知道吕惠卿手中藏有这些信，并且握有他父亲的把柄，深悔自己行动卤莽。受父亲斥责之后又心中憋气，立刻病倒，不久背上生出了恶疮。王安石一向信佛。他请和尚诵经，请医生开药，但均无法救儿子一命。儿子王秀之死，是老相国的一个严重的打击。这位相国对政治与人生的虚幻，大彻大悟了，他感觉厌倦，呈请辞官归隐。皇帝允许他在熙宁九年（一○七六）十月辞去职务，但仍保有若干最高爵位，王安石并非遭受罢黜。数年之后，有人在金陵附近的乡间，看见他骑着驴，嘴里喃喃自语，听不清说些什么。