早在赵家祖孙随着广平王离开山东，抵达江南的时候，任职山东平度州知州的米大舅，就开始麻烦缠身了。
经过赵玮派出的人四处放风声，那山东省的官员知道他其实跟外甥建南侯关系不怎么好，外甥一家都不爱理会他，便再无顾忌了。曾经被他折腾过的几个世家也联起手来跟他做对。而事前曾得到过暗示的济宁知府方崇山，也利用自己的人脉在暗中推波助澜。没过多久，米大舅就因为贪腐、渎职、滥用职权等种种罪名丢了官。
若不是对他下手的人顾虑到建南侯毕竟是他外甥，就算不爱理会他，也不会乐意见到亲舅舅入狱，说不定米大舅的下场还要再惨一些。
丢了官后，为了避免牢狱之灾，米大舅一家四处打点，加上有心人为难，他们这些年捞到的钱财几乎花得精光。最后米大舅性命是保住了，也不用坐牢，一家老小却只能灰溜溜地离开，带着的财产比刚来平度州时还少些。可即使如此，米大舅也不甘心回老家去种田度日，反而带着一家老小上了京城，想着建南侯是他亲外甥，怎么也不会不管亲舅舅的，就算不管，他也可以死缠着建南侯府不放。侯府那么有钱，就算他三天两头过去打秋风，也足够吃香喝辣的了。相比之下，老家那边他多年未回，族人从来与他不合，米省之还隔着老远就写信来骂他，他为什么要回去看族人脸色？
米老太太自然是赞成儿子决定的，当年儿子还未做官时，他们母子不正是这样靠着嫁入建南侯府的继女米氏过活的么？
可惜，他们到达京城的时候，建南侯赵玮还在江南呢。米度之找上建南侯府，侯府门房的人却不肯放他一家进府住下，只答应收下他的名帖。虽然听说过自家小侯爷还有个亲舅舅活着，但门房上当差的没几个是旧仆，大多是赵玮袭爵后才添的新人。无人认得米度之。府中没有主人，万一来的是恶客，要如何收场？万一是个骗子，趁着主人不在家来招摇撞骗的。那就更麻烦了。门房才不要冒这个险呢，答应收下名帖就不错了，若真是舅爷，等侯爷家来，自会上门请罪去。
其实府中也不是没有旧仆见过米家舅爷。但那毕竟是十几年前的事了，认不认得出人是一回事，知道赵家祖孙与米氏娘家关系不好，又是一回事。十来年米家都不见有人上门，就算这回来的是真舅爷，主人家又不在，他们何必多事呢？这米家舅爷从前就是个无赖，放他入了府，请神容易送神就难了。
米度之本想着上京后，一家老小就可以住进侯府享富贵的。梦想就这么破碎了。他就算在人家大门前骂，正主儿不在家，也不管用。没办法，他只好花自家的钱，在外城赁了个小院暂且住下，然后三天两头地打发人来探听建南侯府主人回来了没有。
可惜等到赵玮回京了，就立刻投入了工作中，日夜泡在刑部、大理寺这样的地方，协助审理堤坝案，每天早出晚归的。即使是休沐日，也没多少空闲。米度之几次上门，都扑了空，门房还是那句话。主人不在家，请他改日再来。
米度之心裏是一把火，他不相信他名帖都在建南侯府门房里待了两个月，赵玮居然会不知道？明摆着就是在装糊涂，故意不见他这个亲舅舅罢了！既然外甥如此不知趣，就别怪他这个舅舅狠心不讲情面了。
米度之跑去茶馆里人多的地方。故意说赵玮的坏话，又听闻明知书馆的名声，特地跑到书馆大门口诉苦。可惜并没有什么用。明知书馆与建南侯府的名声好着呢，人家读书人都不爱搭理他。多说几句，人家打听得他的来历，知道是个因罪丢了官的，都看他不起。人人嘴上挂着忠君爱国、忠于职守的大道理，哪个要跟他这个没了前程的人为伍？
即使米度之祭出自己是建南侯亲舅舅的身份，也没几个人相信是赵玮做错了。反而因为米度之藏头露脸的故意在人前败坏赵玮的名声，别人都觉得他人品有问题，信不过。赵玮还不曾露脸呢，人人就帮着他指责起米度之来。后者是有苦无处诉，等回了家，家人都惊恐万分。原来是大理寺来人了，要为他的案子问些“从前遗漏了的地方”，还要搜索些什么被他“藏”了起来的“证据”。几个差役将他家租的院子搜得一团乱，摔了一地东西，凶神恶煞地又走了。米家人担心是他的案子有反覆，都慌成一团，努力劝说他回老家去避一避。
米度之心裏清楚，赵玮如今就在刑部、大理寺泡着，若真是愿意给他脸面，大理寺的差役又怎敢找上门来？难道赵玮对此一无所知？看来这个外甥是真的恼了他。他不敢再造次，又不甘心就这么离开，便老老实实在小院住着，再不敢到外头乱说话，也不敢再上建南侯府的门了。
当然，他并没有完全死心，心裏想的是，总有一日能寻到机会，哄得外甥消了气，愿意帮他这个舅舅一把的。其实他求的也不多，只盼着能再做官就好，若能是个肥缺，那就更棒了。建南侯不是正得皇上重用么？这对他来说就是一句话的事，难道这点小忙，也不愿意帮舅舅么？只要舅舅得了官，一定不会再来烦他……
米度之就抱着这样的心思，一直等呀等呀，直等到夏去秋来，江南发了潮灾，张氏与赵琇祖孙俩随广平王的船驾回了京城，他便又起了别的念头。他们母子俩当年都跟米氏的婆婆张氏打过交道，知道这是个脾气软和好说话的。就算赵玮心肠够硬，不肯帮舅舅一把，老亲家到张氏面前哭诉一番，难道张氏还能不帮忙么？
米度之又往建南侯府递了名帖，并且很有心计地将母亲米老太太的名帖另行投了去。他没料到，门房的人早得了赵玮吩咐，扣下了所有姓“米”的名帖，连姓葛的（米老太太娘家姓氏）和姓邹的（米度之妻子娘家姓氏）都不放过，另行禀报给赵玮，再决定要不要递到内院去。张氏与赵琇压根儿就不知道米度之一家到了京城。又怎会见他们？