高颎的儿子娶了太子杨勇的女儿做媳妇，但太子杨勇并不讨皇帝和皇后的喜爱，独孤氏曾为太子挑选妃子元氏，但该名妃子多年遭冷落，后突发心脏病而死，独孤氏怀疑元妃系被杨勇害死。杨勇宠爱云妃，让她独掌家政，皇后得知后更加怒不可遏，杨广趁机在皇帝、皇后面前挑拨离间，使得皇帝与皇后渐渐产生了废太子的意向。有一次，皇帝试探高颎：“有神灵告诉晋王妃说，晋王一定会统一天下，你怎么看？”高颎跪倒在地：“自古长幼有序，怎么能够说废就废呢？”皇帝和皇后因此对高颎产生不满，皇帝要挑选东宫的卫士作自己的卫士，高颎仍然反对，皇帝很不高兴，对他说：“我熟悉前朝的旧法，你不要走过去的老路。”这话其实是给高颎一个警告。

后来，高颎的夫人病逝，皇后劝皇帝帮他再娶一位，高颎却以自己年事已高婉言谢绝，可不久后，高颎的一位爱妾生了个男孩儿，消息传到宫内，皇后对皇帝说：“你还能信任高颎吗？”从此，文帝对高颎就更加疏远了。

文帝欲出兵辽东，高颎不同意，但文帝坚持要打，这次统军主帅名义上是汉王杨谅，高颎则掌握实际指挥权。结果，因为疾疫流行，士兵十之八九病死，隋兵无功而返，在征战过程中，高颎对于杨谅的意见多不采纳，杨谅恨透了他，返京后在皇后面前告他的状：“儿万幸没有被高颎杀掉。”对于这些事情，文帝没有调查，信以为真，对高颎更加不满，找了个借口将高颎免官，让他顶个齐公的虚衔回家闲居。

高颎比较谨慎，以养病为由不参与国事，但此举又遭人陷害，有人说高颎想学司马懿假托有病不上朝，意图取得天下，还有人建议把高颎杀掉，这次文帝虽然没有杀高颎，但还是免除了他的爵位，取消了他离休的待遇。

直到杨广即位，重新启用高颎为太常卿，高颎对杨广也是克尽臣道，认为不当的就直言不讳，招致杨广对他的怨恨，高颎以诽谤朝政罪被杀，同时被杀的还有宇文弼、贺若弼等人。高颎“诽谤朝政”的罪状主要有以下几条：一是劝皇帝不要听“亡国之音”。杨广曾下诏收集北齐、北周故乐人及天下散乐，高颎谏止，认为北周天元皇帝喜爱音乐，结果亡了国，前车之鉴应引以为戒，这令杨广甚为不满。二是劝皇帝不要浪费。杨广为显示隋朝的国力强大，在接待外国人，特别是突厥君主启民可汗来朝时，举行盛大仪式，花费很大，高颎、贺若弼等人对此颇有议论。

杨广得知后大怒，动了杀机，更让杨广忌讳的是，高颎是废太子杨勇的儿女亲家，高颎曾经反对废去杨勇太子之位，杨广即位后杀死了杨勇，对太子的亲家高颎，自然要除之而后快。(记住全网小说更新最快的枣子读书：www.zhaozhi.us)