这时当年教曲的师傅苏昆生恰巧逃难路过长板桥，无意中发现了桥边的李香君。蒙难逢故知，千言万语竟无从说起，李香君眼泪涟涟。得知她无处可去后，苏昆生便提出一起结伴前往苏州。
其实，此刻侯方域也在南京，自扬州兵败，他便折返南京搜寻李香君，然而人去楼空的媚香楼早被大火吞噬，他在南京城中细细搜寻了一夜仍一无所获。却不知李香君当时就呆坐在离媚香楼仅有一箭之遥的长板桥边，天意弄人，二人就此擦肩而过。
李香君随苏昆生来到苏州，一路颠簸劳苦，又加上极度悲伤，已身染重病。苏昆生一边张罗让李香君在苏州安顿下来，一边热心地帮助她四处打听侯方域的消息。终得知侯方域曾在南京寻找过李香君，了无结果之后，失望地回商丘老家去了。
曾经让李香君以为是一生一世的情缘，如今在历史的洪流中变得不堪一击。经历了重重磨难之后的李香君，身体日渐衰弱。
在苏州李香君辗转找到了昔日好友卞玉京。卞玉京原本也是秦淮名妓，与李香君交情甚好，两年前她迁居苏州。卞玉京热情地将李香君接到家中静养，并请来名医为她诊治。原来李香君患的是肺痨，这种病在当时根本无药可治，只能滋养调理，勉强延续生命。
缠绵病榻的李香君日渐憔悴虚弱，却依然痴心一片，手捧着那把血染的桃花扇，终日以泪洗面，昔日的欢愉历历在目，侯郎却相见无期。自知时日无多，她心心念念的还是有生之年能再见侯郎一面。
见这一痴情女子如此痛不欲生，古道热肠的苏昆生主动提出要北上商丘，为有情人传递消息。
然而苏昆生北上不久，李香君便开始咯血，病情一日重于一日。弥留之际，她挣扎着让卞玉京为自己剪下一绺青丝，小心翼翼地用红绫包好，再把它绑在比生命还珍贵的桃花扇上，然后交给卞玉京，请她转交给侯方域，并留下遗言说：“公子当为大明守节，勿事异族，妾于九泉之下铭记公子厚爱。”
侯方域得到苏昆生送来的消息，立刻启程，赶往苏州。可惜还是晚了一步，当他来到卞玉京的小院时，李香君已于前夜咽下了最后一口气。侯方域伤心欲绝，在香君墓碑上刻：“卿含恨而死，夫惭愧终生。”
顺治八年（1651年），侯方域却参加了清廷组织的河南乡试，仅中了副榜。
“两朝应举侯公子，忍对桃花说李香。”时人的嘲讽如万千乱箭袭来。应乡试之举似乎不但有负香君临终所托，亦负侯方域平生之志，与当日那个任侠狂放、豪情满怀的侯生相去甚远，事实上其间确有隐情。
侯方域之父侯恂曾官至户部尚书，但仕途坎坷，曾两次入狱达七年之久。明亡后，降清的大臣和江南巡抚都曾举荐侯恂出仕。但年逾花甲的他早无心仕途，因此一再推辞。为了避免被逼出仕，他在归德城南十里修筑“南园”隐居，该园“绝去雕甍、朱槛一切繁华富丽之相，故茅屋亭亭如野人居、处士家”。他在《南园记》中写道：
园内有草堂一，主人于焉肃宾；有草楼一，主人于焉拥书。草屋四，一为收贮图玩之处，一为佳客下榻之处，其二则主人夏日于焉纳凉，冬天于焉负暄。小台一，主人中秋于焉举杯邀月，九日于焉登高泛菊。斗室一，才可容膝，主人于焉抚琴南窗以寄作傲者也。河房一所，前临长溪，旁对假山，主人于焉垂钓，于焉放舟……顺治八年（1651年），时任河南巡抚吴景道得知方域“豪横”，又曾以布衣参加史可法军队抗清，便打算以此法办侯方域和侯恂。恰巧归德人宋权以国史院大学士致仕回乡听闻此事，便从中调解：“公知唐有李太白，宋有苏东坡乎？侯生，今之李、苏也。”最终，侯方域免除了牢狱之灾，但条件却是他必须参加当年的科举考试。
此时的侯方域不再是意气用事的小愤青，经历了沧桑巨变，业已为人父的他多了一份苍凉与成熟，自然懂得凡事须为家人计。老父年迈，历经磨难，难得有颐养天年之所，若因自己逞一时之快，连累其违背心愿，甚至蒙难入狱，于心何忍？亦或许性格使然，侯方域注定不会成为一个刚烈的反抗者。
正是在这样的特殊背景下，侯方域参加了河南乡试，表面虽是屈服，事实上他还是以不把卷子做完的方法表示了抗争。据说当时清廷原准备只要侯方域参加考试，就给他第一，结果竟然没有做完，这确实让当事者为难。放榜前，一些考官还是把他置于第一，由于一些人提出异议，才把他降为副车（副车，即副榜，是正式录取外的附加榜）。
但仍有很多人并不谅解侯方域的这份矛盾与纠结，如梁启超就曾大加指责：“侯朝宗并无出家事，顺治八年，且应辛卯乡试，中副贡生，越三年而死，晚节无聊甚矣。”还是宽厚的陈寅恪先生善解人意，为其辩解道：
“朝宗作《壮悔堂记》时，其年三十五岁，即顺治九年壬辰。前一年朝宗欲保全其父，勉应乡试，仅中副榜，实出于不得已。‘壮悔堂’之命名，盖取义于此。后来竟有人赋‘两朝应举侯公子，地下何颜见李香’之句讥之。殊不知建州入关，未中乡试、年方少壮之士子，苟不应科举，又不逃于方外，则为抗拒新政之表示，必难免于罪戾也。”
应乡试之举虽出于无奈，但还是成了侯方域难以磨灭的隐痛，他的诗文里明显流露着深深的自责和悔恨，却没有任何辩解。顺治九年，侯方域建壮悔堂，将自己的文字结集为《壮悔堂文集》。他的《倪云林十万图记》一文，是为陈贞慧所藏名画而作。倪云林是由元入明的画家，在明朝建立六年后所作画上，仍“款署至正（元朝年号）癸丑”，侯方域称赞陈贞慧“自乙酉金陵变后，绝迹不入城市，更命其二子弃去诸生，其亦云林不忘至正之意耶？”
同年九月，或许为了排遣心中郁闷，侯方域又一次游历江南，拜访多年未见的生死之交。
故地重游，却是物是人非，昔日翩翩四公子，而今分散各处，境遇各不相同。陈贞慧“埋身土室，不入城市者十余年。遗民故老时时向阳羡山中一问生死，流连痛饮，惊离吊往，闻者悲之”；冒辟疆“隐居不出”，当时“督抚以监军荐，御史以人才荐，皆以亲老辞”；方以智因“推戴”桂王曾短暂为相，罢相后出家为僧。“行至平乐，被絷。其帅欲降之，左置官服，右白刃，惟所择，以智趋右，帅更加礼敬，始听为僧。”而陈子龙、吴应箕、夏允彝等则在抗清中殉国。吴应箕尤为壮烈，“次尾（吴应箕字次尾）战败，危坐正冠，徐起拜故君，辞先人，引颈就刃，意气弥振。 ”后来，侯方域在《祭吴次尾文》中沉痛之情油然流露：“呜呼！次尾读万卷书，识一字‘是’，明三百年，独养此士。”
南游归来，侯方域在家举行祭礼，面南洒酒，祭奠亡友。一年多后，年仅 37岁的侯方域病故。
不过关于李香君的下落，现在却有另一种说法：据说南京城破后，李香君逃出皇宫，流落栖霞山一带。清顺治二年（1645年）秋，侯方域找到李香君，二人携手回到河南商丘老家。李香君隐瞒歌伎身份，以侍妾身份住进西园翡翠楼。从 1645年至 1652年这八年时间里，李香君与公婆和睦相处，与元配常氏姐妹相称，与侯方域相敬如宾，生活幸福而美满。
然而，李香君时时避讳的秦淮歌伎身份还是在某一天暴露了，公公侯恂怒不可遏，李香君被赶出了翡翠楼，住到城郊的侯氏柴草园打鸡园，一个离城十五里前不着村，后不着店的荒凉之地。任凭侯方域苦苦哀求，辩解香君卖艺不卖身，侯恂依然不为所动。彼时李香君已怀有身孕，婆婆和常氏一再求情，公公才勉强答应派一个小丫头去服侍她。1653年春，李香君在打鸡园生下一个儿子，但因其身份低贱，所生之子不准姓侯，只能姓李。仅仅数月，李香君便在抑郁绝望中含恨而逝，享年三十岁。痛不欲生的侯方域为李香君立碑撰联：“卿含恨而死，夫惭愧终生”。李香君去世仅一年，也就是顺治十一年（1654年）12月 13日，侯方域也在惆怅懊悔中走完了人生之路，年仅三十七岁。
据说李香君遗留的那一支侯氏血脉后来转迁到雪苑村（侯方域号雪苑）繁衍生息，但一直“只准口传，不准入家谱”，至今全村李姓已有三百多人。
