隋炀帝发兵东征高句丽，卫玄担任代理右御卫大将军，率军由增地道出发，与众将在鸭绿江西面会合。当时各路兵马大多出师不利，有所伤亡，唯独卫玄一军的兵众全部返回，授任金紫光禄大夫。隋炀帝驾幸辽东，命卫玄等人辅佐代王杨侑留守东都洛阳，并任命卫玄担任京兆内史，仍兼任刑部尚书，允许他遇事不便上奏，可自行裁处决断，敕令杨侑以对待老师的礼节对待卫玄。

杨玄感起兵造反，围困东都洛阳，杨侑派卫玄率领步兵、骑兵七万人援救洛阳。卫玄军到华阴后，挖掘杨玄感之父杨素的坟墓，焚烧其尸骸遗骨，将其祖茔铲平，向士卒们表明必死的决心。兵出潼关之后，有人担心崤山和函谷关之处有伏兵，请求从陕县沿黄河顺流东下，直奔河阳，攻击杨玄感的后方，卫玄说：“依我看来，这种计谋不是杨玄感那小子所能想到的。”于是就击鼓前进，出崤山、渑池，过函谷关后，正如他所猜测的那样，果真没有伏兵。卫玄派武贲郎将张峻从南路进发作为疑兵，自己则亲率大军直奔洛阳城北，杨玄感率军迎击卫玄，卫玄率军且战且走，在金谷驻扎军队。

卫玄在军中清扫一片场地，祭祀隋文帝说：“刑部尚书、京兆内史臣卫文升，冒昧地昭告于高祖文皇帝的神灵：自从皇家承受天命，到现在三十多年，武功文德，渐渐影响海外。杨玄感辜负圣恩，自作蛇豕，蜂飞蚁聚，犯我王师。臣下我两代受恩，一心侍奉国家，统率熊罴之众，志在剿灭逆党。如果社稷长久，应该让杨玄感这些丑类像冰块一样破碎；如果隋朝大势已去，就请让老臣先死吧！”卫玄词气激昂，三军将士莫不流涕呜咽。

卫玄率领步兵、骑兵两万人渡过瀍水，与杨玄感军交战，杨玄感屡次击败卫玄。当时，杨玄感拥有近十万兵众，卫玄由于寡不敌众，部下死伤大半，军力将近耗竭，于是他率军进驻邙山的南面。杨玄感率领全部精兵前来进攻，卫玄率军与杨玄感决战。一天之内双方交锋十余次，恰巧杨玄感之弟杨玄挺身中流矢而死，杨玄感的军队才稍稍退却，卫玄进而驻军邙山的北面。恰逢宇文述、来护儿等援兵赶到，杨玄感惧怕，因而向西逃走。卫玄派遣通议大夫斛斯万善、监门直阁庞玉为先锋追击，赶到阌乡，与宇文述等合兵击败叛军。

隋炀帝驾幸高阳，征召卫玄到其所在的地方，隋炀帝慰劳卫玄说：“卿真是社稷之臣啊！使朕得以没有西顾之忧。”于是下诏说：“近来妖雾充斥，搅动关、河一带。文升率领义师，应机赴敌，在华山黄河一带，奋勇杀敌，打败凶丑。应该下令奖赏，升任他为右光禄大夫。”并赐给卫玄良田、宅第，财物数万，让卫玄返回长安镇守，临行前隋炀帝对卫玄说：“函谷关以西全部委托给你。你安然无恙，国家就安然无恙；你有危险，国家也就危险。你出入必须有兵士护卫，坐卧应该加强防备。如今特意给你一千名士兵，充当侍卫随从。”卫玄和樊子盖一起受赐玉麒麟符节，用以代替铜兽符节。

隋炀帝诏令卫玄安抚关中，关中盗贼蜂起，百姓饥饿至死，卫玄竟然不能赈济抚恤，而官方败坏纷乱，贿赂公行。卫玄认为自己年纪已高，上表乞求告老还乡，隋炀帝派遣内史舍人封德彝驰往京师，告诉卫玄说：“京师是国家的根本，是王业的根基，是宗庙园陵的所在地，借助你这位老帅，卧居在那里镇守。我为国家考虑，不能同意你退休，所以派封德彝前来，口述我的旨意。”卫玄这才作罢。

隋朝末年，隋炀帝统治残暴，民不聊生，爆发大规模农民起义，太原留守李渊起兵反隋。李渊率领义军进入关中，当时卫玄已年老，闻知李渊率军向长安进发，自知不能守御，忧愁恐惧，自称有病，不再参预政事。李渊屡次派使者到长安城下，对卫玄等人宣称自己是尊奉隋朝皇室，并无反叛之意，卫玄等人不作答复，李渊军队攻陷长安，卫玄归居家中，去世时年七十七岁。(记住全网小说更新最快的枣子读书：www.zhaozhi.us)