郭氏废掉，换上了他最喜爱的人阴丽华为后。郭氏的被废给太子刘疆带来了巨大压力，他惶恐不安，一再要求辞掉太子，与别的弟兄平等，经常托朝臣和弟兄们向父亲转达心愿。起初刘秀不许，拖了一年多，建武十九年（公元43年）六月，把他与已被封为东海王的刘庄换了位置。刘秀对他有歉意，加大了他的封土，给了他不少超出诸王的待遇。

    刘秀对贵戚的过分行为有所约束，一般能够理智对待。司隶校尉鲍永、都事从官鲍恢抗直不避豪强，敢于弹劾贵戚的恣纵行为，曾弹劾刘秀叔父赵王刘良仗势呵斥京官为“大不敬”，刘秀借此告诫贵戚们应当约束自己，“以避二鲍”。刘良临死时，刘秀去看他，问他有什么要说的话。刘良说他没有别的话了，只有一件事，他的朋友怀县李子春犯了罪，县令赵熹要判他死刑，希望能保住他的命。刘秀说：“官吏执行法律，我不能徇情枉法。另说别的愿望吧。”刘秀大姐湖阳公主的奴仆大白天行凶杀人，躲在公主家中，官吏不能捉捕。洛阳县令董宣听说公主要出夏门（洛阳城北面最西头的门），杀人的那个奴仆驾车，就在夏门外万寿亭截住车子，把公主数落一通，当面杀了那个奴仆。公主立即回宫告到刘秀那里，刘秀大怒，把董宣召来，要当面打死。董宣说：“要求允许我说一句话再死。”刘秀说：“你想说什么？”董宣说：“靠着陛下的圣明大德，汉朝才得到中兴。现在放纵奴仆杀人，将怎么治理天下？我不用打，还是自己死吧。”说着就把头撞到柱上，血流满面。刘秀赶紧要小太监抱住他，让他给公主叩个头消消气。董宣坚决不叩，刘秀就要人按着脖强叩，董宣就两手撑地，最终也不低头。湖阳公主不满地说：“文叔当平民百姓时，经常藏匿逃犯，官吏不敢上门追捕。如今当了天子就不能在一个县令身上施加一点威严？”刘秀笑着说：“这就是天子与平民百姓不同啊。”刘秀奖励了董宣，给他加了一个“强项令”（意为刚强不肯低头的县令）的美名。后来刘秀一直记住这个县官。董宣当了5年洛阳令，74岁时死在任所。刘秀派专人临视，见他家中一贫如洗，只有一块布盖着尸体，妻子对哭，刘秀伤情地说：“董宣廉洁，死了才知道！”

    建武中元二年（公元57年）二月戊戌日，刘秀在洛阳南宫前殿逝世，临终遗诏说：“我无益百姓。丧葬，一切都要像孝文皇帝那样，务从约省。刺史、俸禄两千石的官吏，都不要离开城郭，也不要派官吏来吊唁。”