据《资治通鉴》载,在仁寿四年(604年)七月,隋文帝卧病在床,杨广于是写信给杨素,请教如何处理隋文帝后事和自己登基事宜。不料送信人误将杨素的回信送至了隋文帝手上。隋文帝大怒,随即宣杨广入宫,要当面责问他。正在此时,宣华夫人陈氏也哭诉杨广在她来途中意图非礼她,使隋文帝顿悟,拍床大骂:“畜生何足付大事!独孤误我!”急忙命人传大臣柳述、元岩草拟诏书,废黜杨广,重立杨勇为太子。杨广得知后将柳述、元岩抓入狱,并让右庶子张衡入隋文帝寝殿侍疾并将隋文帝周围的侍从打发走。不久隋文帝便驾崩,杨广即位。
唐代人马总在《通历》中记载隋文帝被张衡“血溅屏风”,而赵毅在《大业略记》中记载隋文帝被张衡毒死。