太宗驾崩，太子李治继位，来济任中书侍郎，兼弘文馆学士，监修国史，拜相，为同中书门下三品，加银青光禄大夫，以修国史之功封南阳县男，赐物七百段，拜中书令、检校吏部尚书。

当时，高宗想以武昭仪取代王皇后，首先赐武昭仪封号宸妃，来济和韩瑗劝谏：“妃子有正常名额，现在另立名号，这是不行的。”高宗将要立武氏为皇后，来济和宰相韩瑗劝谏说：“王者定立皇后，是为了承嗣宗庙、做天下人的国母，应该选择礼义名家、优雅贤淑的人，以符合国人的愿望，迎和神灵的旨意。所以周文王立姒氏，《关雎》颂扬，恩泽施於百姓，其福就像那样；汉成帝纵欲，以婢女为皇后，国运中途衰微，其祸患就是这样。希望陛下详察。”然而，高宗不顾来济、韩瑗、褚遂良、长孙无忌的反对，废黜王皇后，立武宸妃为皇后。来济等都不自安，武后上表称来济忠诚，请加赏慰，但是，心中其实厌恶他们。

武后之子李弘被立为皇太子，来济兼任太子宾客，进爵南阳县侯，仍为中书令。高宗曾经问统治百姓的好办法，来济说：“过去齐桓公出游，遇见老人，给他食物，老人说：‘请送给天下人食物，给他衣服，老人说：‘请送给天下人衣服。’齐桓公说：‘我府库有限。怎能所有的人都给?’老人说：‘春天不妨碍农事，就有粮食；夏天不妨碍养蚕，就有衣服。，由此来说，减省徭役，是统治百姓的好办法。”这时山东役使民夫，每年另外增加几万人，又商议用佣钱来代替雇工，纷乱烦扰，所以来济是针对这些所说的。

许敬宗、李义府诬告来济、韩瑗与褚遂良构成朋党，准备谋反，褚遂良贬桂州都督，来济贬台州刺史，韩瑗贬振州刺史，终身不许回京，长孙无忌被逼自杀，柳奭、韩瑗处死。

来济改任庭州刺史，西突厥部落进攻庭州，来济统兵防御，对部下说：“我曾经触犯刑律，蒙恩赦免死罪，现在应当以身赎罪。”于是，来济不穿甲胄，率军出击，力战阵亡，时年五十三，追赠楚州刺史，供给灵车送回家乡。(记住全网小说更新最快的枣子读书：www.zhaozhi.us)