祖珽在司马消难府上虽然说的很凶狠，但是对于如何收拾迫害赵彦深，其实他也并没有太大的把握。

虽然眼下祖珽是作为功士入朝，相对于其他北齐遗民们更快的完成了身份的过渡、顺利融入到了大唐朝局之中，但他这个功士的身份也并没有给他带来太大的权势威风，可以恃强凌弱、为非作歹，否则他也就能打听到赵彦深自赎的内情，而不是误会赵彦深家财丰厚、一掷千金。

眼下的祖珽也只是扯着虎皮做大旗的狐假虎威，内心里还是希望能够吓唬住赵彦深，逼迫其人乖乖低头就范，奉献给自己一笔丰厚的财货。

祖珽离开之后，司马消难府上宾主也都没有了继续宴乐的心情，尤其遭到祖珽敲诈的赵彦深，更是眉头紧皱、不发一语。

司马消难这个主人眼下心情也是恶劣至极，但还是有些不解道：“赵公何竟结怨祖珽这个小人？”

赵彦深闻言后便长叹一声，事情说起来也很简单，之前他执掌北齐并省人事，祖珽屡屡奉表请用，但他却不怎么赏识其人，加上当时齐主高演对祖珽也不怎么待见，于是几番将祖珽排斥于选事之外，自然便结下一份旧怨。

若是往年北齐未灭，赵彦深对此自然也不在意，他身具高位，既然要做事就免不了要得罪人，因此记恨他的人也不知凡几，但真正能报复到他的也寥寥无几。可是如今世道人事换了一套秩序，祖珽这样的小人趁势而起，这就让他始料未及了。

在听完赵彦深的讲述后，司马消难便也叹息道：“世事无常，谁能从容料定？祖某人今来寻衅，想要对赵公肆意加害，我自不允！但今东西形势初定，人事也难免会再起波澜，这一番旧怨沾惹上身，长安对赵公而言已经成了是非之地，还是尽早抽身离去更为稳妥啊！”

赵彦深闻言后便点了点头，他也听出司马消难虽然也愿意庇护自己，但同时又不希望招惹麻烦，所以劝他尽快离开长安。而他也的确是有此意，本身长安这里就没有什么值得他留恋的人事，趁此机会远离是非、返回晋阳也不失为谋身之计。

且不说司马消难与赵彦深的商议，祖珽在等了两天时间后都不见赵彦深登门送礼，便又向相熟之人打听一番，才得知赵彦深竟然已经和家人们一起悄悄离开了长安。

得知这一情况后，祖珽自是大为羞恼，不只有敲诈落空的恼怒，更有被人无视的羞愤，于是他便返回家中，伏案大做文章。