杨六郎在边关战胜萧天佑的消息传到汴京，真宗非常高兴，传令赏赐佳山寨的将士们。随即派使者前往佳山寨犒劳三军。当天退朝之后，王钦回到府中，心中郁闷。他心中暗自思量：“杨家将确实英勇无比，宋朝有杨家的英雄，我们大辽国何时才能够一统中原啊？得想办法除掉杨家！”
这王钦一时也想不出好办法，就请副枢密使谢金吾来府中商议。谢金吾也是朝中重臣，为人狡诈贪财。看杨家将屡建奇功，得到皇帝赏识，很是愤愤不平，平日里总是和王钦背地里诋毁杨家。谢金吾应邀来到王钦府上，拜见王钦，说道：“不知枢密使大人召见下官，有何教诲？”王钦长叹一声，说道：“谢副使有所不知啊！承蒙皇上恩宠于我，可是八王却心怀不平，屡屡找我的麻烦。前几天，我因为有公务路过无佞府，走到滴水天波楼前的时候，来不及下马，竟然被杨家羞辱了一番，弄得我好没面子。我心中不平，就向皇上奏明，谁知又被八王得知，又对我好一番羞辱。唉！
我也是堂堂的朝廷命官，却总是要受这种无端的羞辱，还不如辞官归乡，从此闭门不出，也省得生出这样的烦恼！”
谢金吾一听，说道：“这杨家靠着有几分战功得到先帝的恩宠，就横行霸道，耀武扬威。我们文武百官路过杨府门前都要下马，这虽然是先帝的遗命，但是他杨家也太过分了吧！不过王大人也不必如此消沉，你看现在朝中，先朝的老臣已经所剩无几，只有包括我在内的几个人而已。八王殿下虽然权高位重，但是他并不管理政事。那杨家父子，早已都做了无头之鬼，杨家也只是剩了一门寡妇而已。先帝在位时，建起无佞府、天波楼，只是为了诱使杨家来归顺大宋。当今皇上，早已经不看重这无佞府、天波楼了。我明天就骑马从他们杨家门前走过，他们如果找我的麻烦，我就命令手下拆了他的天波楼！”
王钦见谢金吾中了自己的计策，心中暗自高兴，于是又说道：“谢副使还是不要和他们争这些吧！你如果要拆天波楼，那杨老夫人一定会闹到圣上那里。到时候，圣上给她做主，我们不过是自取其辱罢了。”谢金吾并不知道王钦是利用自己，说道：“王大人放心好了，下官自有办法。”王钦很高兴，于是命人摆上酒宴，二人饮酒密谋，很晚，谢金吾才离开。
第二天，谢金吾带领手下众人骑马从无佞府门前经过，走进天波楼时，谢金吾不但端坐在马上，还故意命令手下敲动金鼓，连连大声吆喝。
杨老夫人听到府外鼓乐声响，人声喧沸，不知道是怎么回事。此时有人来禀报：“谢副使骑马吆喝部下从门前走过。”杨老夫人大怒，说道：“满朝文武，路过我杨府门前都要下马，谢金吾这个奸佞小人，不下马也就罢了，还故意大声喧哗，这是有意欺侮我们杨家啊！”老夫人决定到皇帝那里讨个说法。
杨老夫人手拿先帝所赐龙杖来见真宗。真宗按礼节走下台阶来迎接老夫人。老夫人说：“我们杨家蒙受先帝的厚恩，才有今天的荣耀。先帝赐给杨家无佞府、天波楼，文武官员路过门前都要下马回避，这并不只是尊敬我们杨家，更是尊敬皇帝啊！可是谢金吾路过门前，不但不下马，还敲击鼓乐故意喧哗，这分明是对皇帝陛下不恭敬，是欺负我们杨家孤儿寡母啊！”
真宗随即召谢金吾入朝，真宗说：“当年先帝有遗旨，路过无佞府、天波楼门前要下马回避，你怎么能违抗呢？”谢金吾说道：“臣不敢轻视先帝遗旨，臣有实情上奏。前几天陛下命令赏赐杨巡检，臣带皇帝陛下的敕命到天波楼前，也下马经过。当时就觉得这样做是对皇帝敕命的不敬，反而有辱陛下。臣还没有来得及禀报陛下。而且臣认为，天波楼、无佞宅正好位于南北要道，如果遇到圣节朝贺的日子，陛下也要由此经过，在礼节上很是不便。不如拆毁天波楼，这样会省去许多不便。”真宗听了，沉默不语。王钦趁机说道：“谢副使所说，很有道理。”真宗说道：“你们先下去吧，朕再和文武百官商议一下再定。”杨老夫人只得愀然退出。
王钦私下里又多次劝说真宗，真宗同意拆毁天波楼，命谢金吾督办此事。圣旨一下，王钦、谢金吾不胜欢喜。杨老夫人与六郎夫人柴郡主商议，老夫人说：“如果真的拆掉天波楼，岂不是让死去的令公蒙受羞辱吗？”柴郡主说：“还是我到八王殿下那里求求情，也许八王能让皇上收回成命。”老夫人同意。
柴郡主来到八王府中，拜见八王。郡主说：“皇上听信谢金吾之言，要拆毁天波楼。这楼本是奉先帝之命为杨家所造，希望殿下能够看在杨家父子忠诚为国，想办法让陛下改变主意。杨家一定会感激殿下恩德的！”
八王说：“圣旨已经传达，就很难收回了。如今之计，只能是去求谢金吾先暂缓拆毁，宽容几日，等有机会，我再向圣上请求。”
柴郡主回到杨府，把情况告知老夫人。老夫人说：“现在也只能如此了。谢金吾本是贪财好利之人，我们都给他财宝，让他暂时不要来拆。”于是准备了黄金四十两，玉带一条，派人送到谢府去。
谢金吾看到杨家送来的礼物，果然心动，收下礼物，答应暂缓拆毁天波楼。杨老夫人暗自高兴，心想：“如果谢金吾肯放下此事，皇上肯定不再深究。”没想到，谢金吾收受杨家礼物一事早已经被王钦探知。王钦私下里极力劝说真宗，尽快拆毁天波楼。真宗随即命令谢金吾立即行动。谢金吾领旨，不敢怠慢，随即带人前往拆除。眼看着天波楼上层已被拆掉，杨老夫人忧闷不已。八王派人对老夫人说：“皇上很难改变主意，你们赶紧派人火速赶往三关和六郎商议，也许还有挽回的办法。”八娘说道：“母亲不必担忧，就按八王殿下的话做，到边关找六哥回来商议。不然的话，恐怕以后无佞府也很难保全。”老夫人说：“找六郎回来商议自然可以，只是这是机密之事，派谁去三关报信呢？”九妹说道：“女儿认识去三关的路，让女儿去吧！”老夫人同意九妹前往，说道：“你路上要多加小心，速去速回！”
九妹辞别母亲，前往三关。当时正是五月天气，一路上天气燥热，九妹并不歇息，走了不到一天，就来到佳山寨。九妹见到六郎，把情况向六郎说明。六郎一听，气愤不已：没想到自己一家为国尽忠，却还是遭到小人陷害。六郎有心遵从母命回京，但是自己身负皇命，镇守三关，责任重大。没有朝廷的诏书，私自回京就会有擅离职守之罪，真是进退两难！
九妹见哥哥犹豫不决，说道：“母亲在家中等候，哥哥只需偷偷离开几天，一旦事情有了眉目，就马上回寨。”想到老母正在忧心等待，六郎决定私自回京。六郎吩咐岳胜说道：“我家中有大事商量，母亲派九妹来叫我回京。我私自离开三关几天，事情解决之后立即回寨。你和孟良等人要谨守边境，遵守号令。焦赞要是问我去哪了，就告诉他说我到眉山打猎，不要向他透出半点风声。”岳胜领命。
当天夜里，六郎和九妹辞别岳胜、孟良，悄悄离开佳山寨，向汴京方向疾行而来。两个人走了大半夜，来到乌鸦林。忽然一个人跳出林外，拦住二人去路，说道：“哈哈！我要和将军一起回汴京！”六郎一惊，细看竟然是焦赞，六郎说道：“你不守好关寨，私自跑到这里做什么！”焦赞笑着说：
“将军不也是擅自离开三关吗？小人早就听说汴京城繁华热闹，我却从来没看到过，今天我要和将军一同到汴京看看！”六郎说：“你真是要气死我了！我这次回京最怕别人知道，你性子急躁，到了京城，你肯定会惹出麻烦。还是赶紧回山寨，我回来之后一定重重赏你！”焦赞说道：“您要让我回去，我就先到京城，扬言说将军擅离三关，私自回京！”九妹说道：“反正就他一个人，哥哥还是带他去吧！嘱咐好他不要惹是生非就行了。”六郎只好带上焦赞一起回无佞府中。
杨老夫人一见六郎，便泪如雨下，说道：“你们父子八人投奔大宋朝廷，为国征战沙场，你父亲和兄弟们都命丧疆场，如今只有你还在。先帝尊敬我杨家，建无佞府、天波楼赐予我们杨家。如今却被谢金吾欺负，要拆毁天波楼。恐怕不久无佞府也难以保全了！”六郎劝慰母亲说道：“母亲不必过于忧虑。我们父子为国家立下如此大功，皇帝不会弃之不顾的！
您等我找八王商量一下，一定能挽回局面的！”六郎随即安顿焦赞在偏房居住，嘱咐府中军士，对焦赞要严加看管，以防他出去惹出是非。
