而太子与太子妃确实也是十分恩爱，成为帝都的一段佳话。杨烨曾任内阁首辅，门生遍布天下，朝中文臣也有许多是他一手提拔和栽培的，所以当时朝中文臣都以杨烨为首，武臣则以威烈侯为首。要不是因为身体不好，杨烨也不会辞官回江南养老，当初杨烨提出要辞官时，圣上屡屡劝阻，但杨烨却坚持，说:“微臣此生最大的心愿，就是希望辅佐陛下，实现陛下的抱负，让天下百姓都能得到陛下的恩惠。而现今，天下太平，陛下开辟了自高祖以来的太平盛世，臣的心愿已了。而如今微臣身体抱恙，虽有心继续为陛下效忠，但却有心无力。而臣门下的学生也不乏有才之辈，虽还年轻，却也堪当大任。假以时日，必定青出于蓝，辅佐陛下。是以恳求陛下允许微臣告老还乡。”于是，圣上在做了一番挽留后，便准许了杨烨的请求。但念杨烨劳苦功高，便封他为文德侯，特别恩准不降爵可世袭三代，以彰显他的功绩。这样一幅景象，感动了在朝的许多人，甚至更有人做了一篇诗词，名为《君臣义》，来赞赏圣上知人善任和杨烨的忠心耿耿，此文作出后竟在大周广为流传。
杨烨共有三子两女，其中两个儿子为嫡出，嫡长子名为杨知齐，嫡次子为杨知仪另外一个儿子为庶出，排行第三，名杨际。唯一的嫡女为已逝去的太子妃杨知霞，还有一个庶女杨陌，其生母为当年杨烨下属送的一个歌妓，名叫白艳娘，而她也人如其名，生的颇为艳丽，且善讨杨烨的欢心，故也十分受宠，连带着女儿也颇受杨烨的怜爱，但也是因为这样，刘氏对白姨娘母女甚是讨厌，从没有好脸色给她看，而白姨娘虽为歌妓，出身卑贱，却也精明，在正妻面前，十分乖巧。刘氏也不十分为难她。
杨家三代同堂，嫡长子杨知齐娶的是杨烨的知交好友单如柏的嫡次女，单慧。刘氏对这个长媳冢妇妇十分满意，常夸其贤惠。杨知齐膝下有二女一子，两个女儿为嫡出，分别为杨若瑜和杨若水，儿子为庶出，叫杨从文，是单氏的陪嫁丫鬟所生的，自小由单氏抚养。嫡次子杨知仪娶的是刘氏的嫡亲侄女，刘明芸，膝下有了一子一女，皆是嫡出，嫡长女即为杨若嫣，嫡次子为杨若风。杨际娶的是当地县令的女儿，名为柳守容，生有一子名为杨若远。杨烨最小的庶女杨陌刚嫁，嫁的是单如柏的门生林海生。林海生是去年考取到进士的，与杨陌成亲后，便有杨烨帮忙谋取了一个外放的官职。刚开始，白艳娘听到女儿嫁的是一个穷书生时，跑到杨烨的面前哭泣，说:“老爷，陌儿虽是庶出，但她长得如此美貌，又聪明伶俐，怎么说也是侯府的女儿，怎可如此随便嫁给一个穷书生？”杨烨虽然宠爱白姨娘，但这门婚事是他亲自答应的，况且，杨烨对于林海生这个后辈也是十分看重的，听到白姨娘对自己为女儿挑选的婚事有所挑剔，当下便不悦道:“林海生他富有才华，日后必有前途。怎可如此眼浅？”，白氏还想再说什么，但她从杨烨说的话中也听出，杨烨对这门婚事赞成的，自己再多说什么，只会于事无补。既然不能改变这门婚事，那就弄多点陪嫁给女儿，好歹还有点嫁妆来依靠，白氏心里如是想着。
这件事不久传到刘氏耳里，刘氏讽刺道:“真是蠢货，勾栏里的下贱胚子也就这点能耐了。”于是，在当天晚上，刘氏与杨烨吃饭时，便说:“今日听说白姨娘对五娘的这门婚事不太赞成，找了老爷。”杨烨听言，脸色便有点僵硬，说:“只能怪我平时太宠她了，竟一点分寸都不讲。你是五娘的嫡母，你都还没说什么，她一个姨娘竟然倒有意见了？”杨烨虽然喜爱白姨娘，但也仅仅是喜爱，从某种程度上来说，白姨娘只是一个玩物，只要杨烨一不高兴了，她便会什么都不是，在府中的地位连稍得脸的奴才都不如。刘氏听闻，便说:“倒是枉费了老爷对四娘的一番苦心，白氏不但不感激，还颇有微词，真是不识大体。那林海生虽然家境贫寒，但是有才华，日后历练一番，进入内阁也是不定的。再者，五娘嫁过去，因那林海生家境较低，四娘虽是庶出，但也算是低嫁了。但也会因为这样，他会对四娘好，公婆想必也不会为难四娘。有我们给她撑腰，她嫁过去断也不会受了委屈。只要四娘谨遵为人妻子，儿媳的本分，想必日子也是好的，不会像我苦命的霞儿。。”刘氏说着想到自己唯一的嫡女，不禁哽咽起来。杨烨便说:“难为你为四娘想这么多了。霞儿的事，都已经过去了，只要七娘过得好，想必她也是安息了。”如此说着，杨烨越发觉得白姨娘不懂分寸，第二天，便让她待在自己的院子里，好好反省己过。谁知这一待，便待到杨陌出嫁时也没能出来，可怜白姨娘之前还一心想着拿出自己的体己来让女儿的嫁妆更加丰厚。还是杨陌三朝回门，刘氏想着她毕竟要见一见自己的生母，才不继续让她禁足。白姨娘一见到女儿，便问:“你嫁过去，夫婿对你还好？公婆如何？”杨陌因是新妇，听白氏这样问不禁有些害羞，脸色微红，便说:“夫君他待我是极好的，公婆倒也挺客气的，姨娘不必担心。”“都怪我做事考虑不周，就这样冒冒然跑去找老爷说，反被夫人抓了把柄，你出门前都没看到你一眼。尽管你公婆夫婿对你不错，但他们家终究家境贫寒，日子也是不好过的，怎么说你也是侯府出来的小姐，要不是我被禁足，虽说不能改变老爷的想法，但在嫁妆上倒也是能帮上你一把的。”杨陌听言，忙安慰到:“姨娘快别伤心了，母亲她对我还好，嫁妆上倒是比庶女一般的规格要好，想是心疼我夫家清贫。”
