一点干粮，在一个漆黑的夜晚爬上了山。在半山腰，他找到了一个被茅草掩盖着的山洞，这是个既能隐蔽又便于观察敌情的好地方。

    他迅速安排好了住处，就接连几天拖着伤残的身体爬来爬去地观察敌情，终于数清了鬼子的人数。可怎么向游击队报告呢？游击队又在哪儿呢？每当夜深人静的时候，他就在山上爬来爬去到处寻找，但都落空了。

    带来的粮食已经没有了，仍不见游击队派人来。他决定作长期坚持的准备。深夜，趁敌人熟睡之机，悄悄地爬回村里，找到一只破铁锅带回山洞，以石取火，煮着山上的干野菜充饥。

    严寒的冬季熬过去了，春天来到了。一天夜里，他终于和多次来找他的游击队取得了联系。他激动地向游击队报告了敌情，又接受了新的任务：侦察敌人的增援部队和武器情况。

    他带着新的任务，出没在山顶、沟谷，常常深更半夜爬进敌营，给游击队侦察敌情。为了能有粮吃，他又开始了新的生活。白天，他怕鬼子发现，就用野草把衣服擦成绿色，跪在山坡上，艰难地开起荒来；夜晚，摸黑刨挖。一小块一小块的梯田被他开垦出来了，山坡上长满了绿油油的禾苗。收获的季节到了，竟收了七石多粮食。就这样，他一个人像当年守山头一样在山洞里边斗争，边生产，坚持了将近三年。

    1944年，下乡“扫荡”的鬼子在抗日军民的打击下，被迫撤回到城里。久久不归的乡亲们陆续回来了。张树义把自己住了近三年的山洞收拾了一下，背上他的小铁锅，匆匆下了山。

    乡亲们见了，又惊又喜，一个个向他围拢过来，询问着、诉说着。人们激动地喊道：“张树义这半截人真成神啦！”

    1946年1月，在晋察冀边区冀晋区生产大会上，他被选为劳动英雄。晋察冀军区所属冀晋军区授予他“荣军旗帜”称号，并赠给他一面绣着“荣军旗帜”金字的奖旗。1950年9月，张树义出席了在北京召开的全国工农兵劳动模范代表会议，并当选为大会主席团成员，还列席全国战斗英雄代表会议。此后多年，数次被评为模范，毛泽东主席曾五次接见他。