谭序初制军守苏州时，尽心民瘼，志在挽回弊俗。以烟馆为停留盗贼之所，严禁之，不许开设，但令煮烟挑卖与人。
市中度量衡，向有二种，贩入则用长者、大者、重者，卖出则用短者、小者、轻者，殊不均平，亦严禁之。亲自比较，有出入异用者，罚其物充公，枷其人徇于市。
妓馆尤甚，少年子弟趋之若骛。因而破家荡产者，不可胜数，故禁之愈厉。而大家世族公子，以绝其所爱，颇不悦。有方丽卿者，吴中名妓，某巨室以屋假之居，设二仆守门，不许他人往来。诸好狎邪游者谓一人独占国香，不服，时率群不逞之徒入其家凶闹。制军闻之，签拘丽卿到案，痛加掌责，发官媒婆监守，封闭其屋充公。某巨室托人说情，不允。大怒，而又苦于不敢明言，乃煽动各大家子弟，私撰谤诗，欲流入都中，以中伤之。
诗凡三十首，贴遍苏城。制军使人揭入观之，愤甚。谓好官不可为，遂自具文，备言不善为政，致绅民不服，惟求罢黜归家，不愿为官。夹谤诗在内，并不驳辩一语。上之两江总督沈文肃公。文肃早访闻制军实事求是，不避嫌怨，知所为必有不便于势家者。接其文，手书一笺慰之曰：“昔子产初为政，即有孰杀之歌。谤言何害？但求为国为民，无愧于心而已。予不因浮议而疑公，公慎勿生退志，尚勉力为之，无改前度。余当有以报公也。”制军得书不得已，复视事。
而文肃旋密奏，极力保举，谓忠刚才干可胜督抚之任，求皇上不次用之。未数月，署徐海道。未数月，在任升臬司。未数月，在任升藩司。年馀，署苏州巡抚。旋授湖北巡抚，复调云南巡抚。年馀，署云贵总督。然则谤之者适所以福之也。君子乐得为君子，小人枉自为小人矣。
