丧期间，孝宗只吃一点点素餐，形容越来越憔悴，连妃嫔们也替他担心。宫中有位姓吴的夫人，偷偷地让内侍在孝宗的素菜中掺上了一点鸡汁，孝宗发觉后勃然大怒，当即将吴夫人逐出宫门。

    孝宗之孝在当时是妇幼皆知的。他虽是高宗的养子，但几十年来，父子相处极为融洽，感情笃厚。孝宗即位后，每月4次朝拜太上皇，曲意侍奉。那时，孝宗年轻气盛，很想有一番作为，恢复祖宗基业，高宗却素来主张安静，不赞成对金用兵。孝宗侍奉高宗时，每次都力陈恢复大计，高宗渐渐不快，有一次，他干脆说：“此事待我百年之后，你再议论吧！”从此，孝宗在高宗的面前就不再提及此事了。

    高宗去世时，孝宗也已60多岁了。在位多年，已经感到厌烦，有意借服丧之机退位，大臣们苦苦挽留，才暂时没有禅位，但退居幕后之意却是不可动摇了。

    淳熙十六年正月，金世宗完颜雍病死。他21岁的孙子完颜璟继承了皇位，按照“隆兴和议”的规定，金宋是叔侄之国，南宋皇帝对金朝皇帝自称侄皇帝。宋孝宗已经年过花甲，他不愿向比自己小40多岁的金章宗称侄。就在二月禅位给太子赵惇，自己退居重华宫当了太上皇。

    孝宗退位后，太子妃李氏被册为皇后。李氏性情悍妒，对孝宗夫妇时常出言顶撞，又恨孝宗否决了立她的儿子为太子的动议，便千方百计离间孝宗父子，报复孝宗，父子之间越来越疏远。光宗甚至一年不朝拜重华宫，孝宗为此怏怏不乐。身体每况愈下。父子至亲，病中的孝宗很想见一下儿子的面，可直到病危，光宗也不出面探望。绍熙五年（公元1194年），太上皇孝宗病死，终年68岁。谥号“孝宗绍统同道冠德昭功哲文神武明圣咸孝皇帝”，庙号“孝宗”。