杨广到榆林郡后，回到太原，对张衡说：“我想到你家里去，你为我作东道主吧。”张衡赶到河内，与张家的人准备好牛肉美酒。杨广上太行山，开辟直路九十里，以到他家里。杨广很喜欢那里的山泉，留下来饮宴三天，因而对张衡说：“以前随先皇帝拜谒太行山的时候，途经洛阳，看到这里，深深遗憾不得相访，不料今日得遂夙愿。”张衡拜伏于地，谢谢杨广，并奉杯敬祝杨广。杨广更高兴，赐他住宅旁的田地三十顷，良马一匹，金带，缣采六百段，衣服一袭，御用食器一具。张衡推辞，杨广说：“天子到了哪里，之所以叫幸，就是因为这，不必推辞了。”张衡又给杨广献食，杨广下令赐给公卿，一直到卫士们，无不沾光。张衡因是杨广当藩王时的故交，恩宠无人可比，很有些骄贵。

杨广到汾阳宫，宴请随从官吏，特赐绢帛五百匹，当时杨广想扩建汾阳宫，让张衡和纪弘整画好图纸奏上，张衡借机进谏说：“这几年劳役繁多，百姓疲惫，请您留点神，稍稍少搞点这类事。”杨广心里很不舒服，杨广曾看着张衡，对侍臣们说：“张衡自以为因为他的计谋，才让我有天下。”

当时，齐王杨暕失爱于杨广，杨广秘密让人找杨暕的过失。有人告张衡违反制度，将伊阙令皇甫诩带到汾阳宫，又说以前杨广到涿郡以及祭祠恒岳时，那些来谒见的父老乡亲，衣冠大多不整。杨广怪罪张衡，身为司法官，不能检举处理这些问题，让他出京当榆林太守。

杨广又到汾阳宫，张衡正在督促劳役修筑楼烦城，因而拜见杨广，杨广厌恶张衡没有消瘦，以为他不想过失，因此对张衡说：“你长得很肥，应暂且回到郡里去。”张衡又到榆林郡去，继而令张衡监督修江都宫的劳役。有人到张衡那里告监修江都宫的人，张衡不为他处理，却把状纸交给那个监工，这个人吃了监工更大的亏，礼部尚书杨玄感出使到江都，这个人到杨玄感处喊冤。

杨玄感自然认为张衡的作法不对，到与张衡相见时，杨玄感又没说什么，张衡又先对杨玄感说：“薛道衡真是被冤死的。”杨玄感把这些事都报告给了杨广，江都丞王世充又奏张衡频频减少劳役的饭食。杨广于是发怒，把张衡关起来，送到江都，将要杀他，过了很久才放他，除名为民，放他回老家乡里，杨广常令亲信窥探张衡在作些什么。

杨广从辽东回到洛阳，张衡的小妾诬告心怀怨恨，诽谤朝政，杨广竟然赐他在家里自尽，临死时大声说：“我为世人作了什么好事哦，还想久活！”监督行刑的塞耳不敢听，下令杀了他，因其死于无辜，追赠他为大将军、南阳郡公，谥号为“忠”。(记住全网小说更新最快的枣子读书：www.zhaozhi.us)