82年调到北京东方化工厂研究所。之后，王衍芳与在医院工作的妻子结婚，并生下一个有残疾的女儿。为了照顾家庭，1984年王衍芳调入北京市建筑工程研究院担任研究员。5年之后，根据国家有关政策，他们又生了第二个女儿。

    大女儿的残疾是带给刚刚组成家庭的王衍芳的第一次打击，但是，年轻的王衍芳很快走出阴影振作起来，因为这个家庭需要他来支撑。他把精力投入在工作之中，加上他沉默寡言待人仗义，受到单位同事和领导的好评。很快，王衍芳就成为令人羡慕的工程师，在同龄人中，王衍芳是毫无疑问的佼佼者。

    王衍芳人生的第二次打击是1991年。这一年，建筑工程研究院成立了一个涂料课题研究小组，一位姓陈的大姐担任课题组组长，王衍芳是组员。课题研究小组成立不久，研究院陆院长突然把王衍芳叫到办公室里问：“你是不是把单位的设备和涂料配方卖了？”

    “没有啊，您这是从哪里听来的小道消息啊！”王衍芳以为陆院长跟他开玩笑。

    “有人向院里反映，说是你卖了设备和涂料配方，你还不承认吗？”陆院长非常严肃。

    “胡说八道，哪个王八蛋在打我的小报告？你们当领导的凭什么不查清楚就相信别人的陷害？”脾气倔强的王衍芳认为自己没有卖配方，自然不承认这种诬陷。这次与陆院长的谈话不欢而散。

    回到家里，王衍芳越想越不对劲，他想来想去，觉得打小报告的就是平时对自己不怎么好的陈大姐，现在又是自己的组长，一气之下，王衍芳第二天就从课题小组撤了出来。在之后的3个月时间里，院里对王衍芳偷卖设备和涂料配方的事情进行了审查，但最后却没有作出任何结论，只好不了了之。王衍芳为此闷闷不乐，觉得领导在有意整他，他跟领导的关系也慢慢疏远起来。对于工作，王衍芳再也不那么上心，在一些朋友的带动下，他慢慢迷恋上了打牌赌博，甚至上班时间也瞒着领导溜出去找人玩麻将，随着赌瘾的养成，王衍芳逐渐将工作荒废。这些事情反映到领导那里，更加加剧了领导对他的不满。

    第三次打击在1992年。这一年研究院里分房子，按当时的房屋分配原则，单位可以将职工的福利住房卖给个人。但在这次单位房屋改革中，研究院因为王衍芳卖设备和涂料配方的事情一直没有结论，加上此后他赌博耽误工作，单位就没有将福利房卖给他。直到院里其他人的房子都已经办理了买卖手续，王衍芳才知道事情的真相。王衍芳没有从自己的缺点找原因，反而认为是领导在有意整他，他觉得单位的决定就是领导说了算，是陆院长从中作梗。由此，他忌恨上了陆院长。

    第四次打击是1993年那个寒冷的冬天。为了能够照顾自己患病的母亲，孝顺的王衍芳把母亲在崇文区的房子与同事换了房，王衍芳当时考虑两个便利，一是换到了自己的住房附近可以照顾母亲，二是同事的房子有暖气，能够让母亲过个暖和冬天。但是，正当王衍芳的母亲住进那间小平房之后，房子里的暖气却莫名其妙地被停了。王衍芳非常恼火，认为是陆院长下令给停的，他只好找到院里的米书记，但米书记表示不知道这件事情。王衍芳一气之下又找到上级主管部门反映情况，但是，折腾了一圈儿之后仍然没有解决暖气问题。此时已经是12月的隆冬，王衍芳只好将被冻了很久的母亲送到大哥那里。没想到，母亲刚到大哥那里就大病一场，之后经过医治，命虽然保住了，母亲却从此一病不起，差点变成了植物人。王衍芳觉得，母亲之所以生病就是因为院里给停了暖气造成的，由此，他更加痛恨陆院长、米书记了。

    此后，王衍芳多次找上级领导反映此事，最终通了暖气，也帮助其他十几户都装上了暖气，街坊邻居都沾了他的光，但经过这么一番折腾，领导们对王衍芳更不满意了