北安王府和平恩侯府联姻，让程墨再次成为京城朝臣百姓热议的中心，老百姓羡慕之余，也只能意淫一把，想像自己变身北安王；满朝文武、勋贵的感受就不同了，程墨阵营的人欣喜不已，而一些觉得程墨崛起太快，对程墨心怀顾忌的朝臣不约而同上奏折，要求两家解除联姻。
这些奏折，刘询一律留中。于是一些朝臣去拜访许广汉，或指责他把女儿嫁人作妾；或做痛心疾首状，痛陈两家联姻的害处；或扮好人，提醒他要为家族考虑，皇后的娘家有北安王这个强助，定然遭皇帝所忌，说不定会有灭族之祸。
许广汉只是一个小吏，本就没什么见识，听这些人痛陈厉害，吓得不轻，赶紧进宫和许平君商议。
许平君本就有些不情愿，总觉得亏待了妹妹，一见老父动摇，也起了退婚的念头。晚上刘询回建章宫，她道：“虽说大哥年龄和婉儿相当，可上头还有一个霍王妃，不如把这门亲事退了，为婉儿另择良配。”
刘询笑道：“诏书一下，还能更改么？朕封婉儿为北安王侧妃，和苏氏平起平坐，如何？”
许平君摇头，道：“侧妃可不是正妃。”
到底身份还是差了。
刘询道：“小君，婉儿过门，上头没有公婆管束，霍氏又是明理之人，她不会为难婉儿，你看她对顾氏、赵氏如何？把婉儿嫁到有公婆，甚至太公、太婆的人家，规矩礼节又繁琐，婉儿受得了么？”
能屹立至今不倒的勋贵，哪家没有重重规矩？这些规矩正是他们成为贵族，能在人群中一眼与普通大众区分开来的所在。
许平君一想也是，妹妹嫁进北安王府，起码想干什么干什么，没长辈管束。她想通了，反过来劝许广汉：“陛下看好这门亲事，您就别再听那些人乱说了。我原本还觉得北安王亏待妹妹，可昨晚想了半宿，父亲，我们的出身也普通得很，不如就妹妹的意，同意这门亲事吧。”
许广汉没什么主意，只要大女儿答应，他哪会反对？亲事就这样定下来。
那些别有用心的朝臣开始上奏折围攻程墨，各种吹毛求疵，有一位老臣甚至连他当年烂赌，赌光祖业的旧事都拿出来弹劾，说这样的人，如何能居高位，甚至为异姓王？
这封奏折连小陆子都看不过眼了，叫郑春悄悄出宫，向程墨递了消息。
程墨大怒，说他别的犹可，拿这件事出来说，完全没道理，不说当年他还没穿过来，就说这些年，他一直没有赌过，跟张清、武空等人打牌，也是娱乐消遣，何曾真的上过赌坊？现在翻出这笔烂帐，想干什么？
不过两天，司隶校尉便查到这人小时候拿人家的桃子不还钱的“光荣事迹”。程墨上了一封奏折，说这人人品败坏，连桃子这么不值两个铜板的东西都赖帐，怎能在朝为官？并把这件事散布出去。
刚好是桃子大量上市的时节，这人走到哪，有些促狭的人便上一盘桃子，打趣他，让他多吃两个，省得拿人家的桃子不还钱。这人气得吐气，却无可奈何。
就在这时，张敞再次上门求见，道：“王爷位极人臣，和平恩侯府结亲，又处于风口浪尖，不如低调些，以免引起陛下忌惮。”
他冷眼旁观多日，朝野中大半朝臣反对这门亲事，以致攻讦程墨，不过担心程墨地位牢固，权力太大，危及皇室。
臣子都这样想，何况皇帝？若刘询决心对程墨动手，皇后的娘家又如何，不也一样人头滚滚？因而，当务之急，还是收敛。
在来北安王府之前，杨敞考虑了两天，最后决定试试，就当递投名状，若是程墨虚心纳谏，他不妨成为程墨阵营中的一员，若程墨不听忠言，他定然疏远程墨。
程墨用招待普通客人的茶招待他，一听这话，马上吩咐榆树端茶具来，用特制的工夫茶具招待他，待小泥炉水沸，茶香四溢，他道：“子朝之言，正合我意。”
如果不是为了避祸，他何必辞去所有实缺，只当闲散王爷？许婉对他动心，死缠烂打，以致他一时失控，实是出乎他的意料。事已至此，他并不后悔。可和皇后娘家结亲，会遭遇什么，他心里却是有数的。
杨敞笑了，端起茶杯，道：“王爷，下官以茶代酒，敬您一杯。请。”
眼前的青年看着年轻俊朗，却着实精明，若光看他的外表，不把他当回事，定然会吃亏。杨敞决定以后跟程墨走，成为他旗下的一员。
杨敞走后，程墨以筹备婚礼为由，闭门谢客。
最近一段时间，他闭门谢客的次数实在有点多，每次闭门谢客一段时间，便会引爆新的话题，让人羡慕嫉妒恨。那些上门求见，却不得其门而入的人，越发猜测他要干什么，甚至有人开了盘口，赌他接下来的动向，是迎得美人归，还是重回朝堂，抑或引得皇帝猜忌，身死族灭？毕竟他的妻室来历都非同小可，这些都是不可忽视的力量。
有谣言传霍光要废刘询，扶立程墨为帝。这条消息不过半天，便传遍朝野，很多人不相信，更多的人却半信半疑。
丙吉听到这消息，来见刘询，道：“陛下，这种谣言最是要不得，还请陛下下诏，传播谣言者，斩。”
刘询最猜忌的人便是霍光，若说别人拥戴程墨为帝，刘询绝对不相信，可若这个人是霍光，刘询不得不信。他心里正不自在，道：“卿的意思？”
丙吉道：“散播谣言者其心可诛，分明是离间陛下和北安王君臣之义，削陛下手足之情，动摇陛下的帝位。还请陛下下诏，诛此人。”
“霍大将军……”刘询欲言又止。
丙吉道：“陛下，就算霍大将军要扶立新帝，也不会立北安王。北安王姓程，非刘氏子孙。”
一句话安了刘询的心，太祖立国历经七代，群臣忠心耿耿，另立非刘氏子孙的人为帝，朝臣能拥戴，百姓能归心吗？
刘询道：“朕准卿所奏。”