其年秋，公与杨公旁湘东下；公从君山、阳公从雷公湖，张雨翼。先以小舟诱贼，贼舟出，抄其后，烧百余舟。贼退保雷鼓台，攻之不克；公与杨公乘三版船冲入贼中，公中枪子伤指，血渍襟袖皆赤，进益猛，烧其坐船，贼遂溃退：军中慴服，号为「彭、杨」。时罗公泽南等所统陆军连战皆捷，遂至沌口谋攻武昌；公曰：『是宜渡江，先烧其屯』。自塘角至青山，贼炮环列，丸发如雨；诸将皆露立，三版櫂船徐进，无俯首避炮者。贼大惊，于是沿江贼悉溃；汉口、汉阳皆复。陆师不血刃复两名城、一巨镇，水师之力为多。群寇乃聚于田镇，依半壁山，夹江为五屯；连舟断江，缆以铁索大锁，布木为筏，置大炮焉；又护以炮船，望之峨然。水师下攻之，则为蕲州江岸之贼所挠。公麾师船掠蕲直下，分水军为四队，头队悉令具鑪〈革葡〉、椎斧之属；哨官孙昌凯，故铁工也，方鼓橐吹埵，有小船视筏下劣容〈舟刃〉试入之，竟度二船，呼曰：『铁锁开矣』！贼愕亦呼，惊走堕水。掷炬烧筏，筏舟俱烬；山下贼亦颠越，坑谷尸相藉。此一役也，湘军水师名闻天下。公与杨公旋至武穴养伤，而别将萧捷三率水师由湖口驶入姑塘，为所扼，不得出；公乃于新塘镇设厂造船，别立新军，而水师始有内湖、外江之分矣。
五年，湖北巡抚胡公林翼攻武昌，贼闭城不出。水军无所事，自沙口还沌口；道经武昌、汉阳，寇炮雷鸣，万声同发。公所乘船桅折船覆，公坠于水；或以三版船拯之，力挽不起，则水中有抱持公足者。舟人呼曰：『速释手，此统领也』！公在水中，闯然曰：『此时岂顾统领耶』！已而并出水中，则抱足者即本船司舵者也。公笑骂曰：『若知是尔，我提掷数丈外矣』！公当生死之际，犹从容谈笑如此。
曾文正自江西召公自助，公时适在衡，将趣南昌；而袁、瑞并陷，道不通。公易衣操皖音，伪为贾客，摩寇垒而行，径达南昌；巡抚以下皆大惊。湘军闻之，气势十倍。六年正月，公破贼樟树镇，又破临江贼垒。三月，营于吴城镇，以遏贼锋。又会黄虎臣之师克建昌县，转战吉、临、瑞、建、南、饶、广间无虚日。
七年，以惠潮嘉道协理水师。曾文正疏言公任事勇敢，励志清苦，有国士风，堪胜总统水师之任。而公在江西，饷不时得、乞火药亦不与；曾文正每叹曰：『吾负雪琴』！既而湖北陆军再克武汉，水陆俱下围九江，攻湖口；贼扼石钟山，遏内湖之军，不使得合于外江。公率全军分三队出战，贼于石钟山置巨炮，适当我船之冲，伤十余船矣；或谏公曰：『今驱士卒与飞火争命，徒死无益』！公泣曰：『不度此险，终无生理。今日，我死日也；义不令将士独死』！鼓棹赴之，贼炮裂，炮者毙。我舟遂衔尾直下，俄顷之间与外江合，欢声如雷；陆军应之，进夺小姑山，复彭泽，连破枞阳、大通、铜陵、峡口寇垒而还，遂攻克九江府城。
十年，贼复围湖口；公赴援，舍舟登陆，雨立数日夜，力战却之。
十一年，授广东按察使。时文正弟忠襄公国荃攻围安庆，贼陈玉成率悍贼三万来援营于，菱湖；公创立飞划营，抬划船入湖，合陆军大战，毁其垒，遂克安庆：是为肃清东南之始。俄授公安徽巡抚；公上疏三辞，于是改公提督。又以武职望轻，改以兵部侍郎候补；旋补右侍郎。
贼自据金陵，以芜湖为屏障，以东、西梁山为关键；同治元年，公与曾忠襄水陆会攻铜城闸，水师攻其东石垒、陆军攻其西土垒，破之。于是收复巢县、含山、和州三城，又袭破雍家镇、玉溪口诸要隘，而克西梁山。又由鮎鱼觜，进攻采石矶。时忠襄之师已由西梁山南渡，逼金柱关而营。公分水军为三，一队守险、一队冲入内河；一队辇炮登岸，环城而轰之。夜半，射火箭，焚其西门轈楼，贼从火焰中逸出，积骸满渠；遂复金柱关，而东梁山亦一鼓而下。东、西梁山既复，芜湖贼孤；循江而进，复芜湖。而忠襄之师已进攻秣陵关，公率水军由烈山赴之，会陆军拔头关，进攻江心洲。洲有二石垒，屹若坚城；公选壮士登岸，蛇行芦苇间，逼垒纵火，焱焱烛天，洲遂破。又破蒲包洲，进泊金陵之护城河口；而忠襄之师遂进而营于雨花台，以规复金陵。二年五月，攻复江浦、浦口两城，乃议攻九洑洲。九洑洲在惊湍急浪中，贼筑垒数十，列舟环之，为金陵掎角；又有拦江矶、草鞋峡、七里洲、燕子矶、中关、下关诸隘，相倚以为固。前督师向公、和公皆以攻洲不克故，无成功。公议先破其南岸诸隘，命丁泗滨等循南岸而下，预以枯荻获灌油焚其舟，乘势薄其垒，猱而升；草鞋峡、燕子矶、下关诸隘悉平。次日昧爽，两岸并举，人皆死战；贼在中关者竟不为动，自朝至暮。公令夜战，且曰：『洲不破，不收队矣』！是夜选精队四十人，人持短兵、怀火蛋，令巴里坤总兵成发翔率之登岸，于黑雾中潜烧贼垒；诸将蚁附而上，前者殪、后者继，践尸复登。乙夜，大破九洑洲；群丑聚歼，无一脱者。最公生平田家镇之战、石钟山之战、九洑洲之战，皆肉薄血战；所谓「劳苦功高」，询不虚矣。是年八月，解青阳之围。十月，收复高淳、宁国、建平、溧水诸郡县，夺还水阳、新河庄、东坝要隘。东坝既复，驻重兵焉；而金陵伪都粮道始断。诏并论前九洑洲功，赐黄马袿。
三年，江宁复，大功成；赏一等轻车都尉世职，加太子少保衔。
四年，命署漕运总督；再疏辞，言『臣本寒儒，佣书养母。咸丰三年丁母忧，曾国藩谬采虚声，强令入营。初见，即自誓不求保举、不受官职。十余年来，自知府至巡抚、由提督改侍郎，并未尝一日居位；历任廉俸及军营例支官品银，从未具领分毫。恩虽实授，官犹虚寄。若责臣以必赴，惟有负罪而再辞』。上监其诚，从之。乃与曾文正奏定长江水师之制：自荆、岳二州至崇明县五千余里，设提督一员、总兵五员，以六标分汛营哨官七百九十八员、兵万二千人；月饷及杂费银皆取给长江厘税，不烦户部。公在军垂二十年，初时军饷奇绌，公商于盐政，捆盐自卖以供一军之饷。至是，军饷有额支实款，公以所领盐票犒诸将领之有功者；而历年余存盐银无虑六十万，咨明两湖、两江督抚发南北两盐道生息，存为长江水师公费，且以备外患，一无所私。公疏言：『臣以寒士来，愿以寒士归』。又言：『士大夫出处、进退，关系风俗之盛衰。臣墨絰从戎，志在灭贼；贼已灭而不归，近于贪位。长江既设提、镇，责有攸司；臣犹在军，近于恋权。改易初心贪恋权位，则前此辞官疑于作伪。三年之制，贤愚所同；军志已终，不仍补行终制，涉于忘亲。四者有一焉，皆足以伤败风俗。天下之乱不徒在盗贼，而在士大夫进无礼、退无义；臣岂敢稍犯不韪，以伤朝廷之雅化。古来，臣子往往始有建竖、末路陨越，由精气竭也；臣每叹其人不能善藏其短，又当日朝廷不能善全其长。知进而不知退，圣人深戒之。乞开臣兵部侍郎本缺，回籍终制』。疏入，报可，旋命公满百日即出。公既归，以查江旧居久圮，卜郡城东岸作小楼自居，题曰退省庵。时往母墓及查江家庙，布衣青鞋，不设舆卫。补制满，竟不出；种树灌园，有终焉之意。
而自公之归，长江水师规制浸弛，以侈靡相尚，篙、舵工有不能操舟者；众论至谓「水师无益，可废」。十一年，曾文正薨，诏复起公视师。公一出，劾罢营哨官八十余人；于是，长江水师又大振。公入觐，命署兵部右侍郎，赐紫禁城骑马。大婚，充宫门弹压大臣。恩命稠叠，卿贰清闲，或谓公可无辞矣；公始终一辙，再疏力辞，始许。公南归，仍命每年巡阅长江，得专摺奏事；应需公费，由两江、湖广各总督筹备。公乃奏定巡阅长江章程：一岁自上游本籍衡州出巡，至江、浙度岁；一岁自下游江、浙出巡，至衡州度岁。于浙江西湖筑室三楹，亦名退省庵，为下游事竣休息之所；而经费即取给前存盐道生息之款，岁支银四、五千两。其两江、两湖筹拨银一万两，皆奏罢之。自是岁以为常，轻舟小艓，往来倏忽；不独将佐畏之如神，即地方有司亦望风震慑。而民间诸不轨之徒作奸犯科、愍不畏法者，辄相惊曰：『彭宫保来』！騤瞿奔触，伏不敢出；台州贼黄金满，束手来归。威声震动数千里，他帅莫与比也。
朝廷知公廉直，凡有大事，辄以属公。如两江总督左公宗棠、刘公坤一、湖广总督涂公宗瀛、两广总督张公树声皆朝廷倚重大臣，而一经言官劾奏，皆命公察核。公平心论断，务得其实；众论韪之。时朝廷以洋务为重，巡江之外，又命出海会操各省兵轮船；公则以清吏治、严军政、端士习、苏民困为自强要策，制船、造器皆为末务。七年，诏公署两江总督，辞。八年，京察一等。九年，补兵部尚书，辞；不允。其后，京察又列一等；以既开缺之侍郎、未任事之尚书而三载考绩与焉，异数也。
法、越战事起，朝议以广东海防尤要，诏公酌带旧部，速往广东。适有疏乞养病；至是，力疾请行。调湘军四千，由海道往；自由衡州单骑入粤。审度形势，以虎门为第一重门户；由虎门而进至常洲，为省城第二重门户。自此而进，左则渔山、珠山，是为北路；右则海心冈、大黄〈氵窖〉，是为南路。公无事驻大黄〈氵窖〉，有警驻虎门；省城官吏为公治行馆，不居也。支帐为棚，蔽以蕉叶；风雨沾濡、暑日蒸炙，与士卒共之。维时省中议者以虎门辽阔难守，不如退守黄埔。公亲往履行，见虎门以外即零丁洋大海，浩瀚无涯；而屈曲清流，实止一线。无论帆船、轮船必循此线而进，进则必经由沙角山下。公发健儿凿穿山石，以为炮洞；兵隐其中，敌不得见。十三年冬，民间争传夷人将以明年正月犯粤；公自驻山上，令暮夜不得有一舟入口。至除夕，有舟入焉；发炮击之，帆桅俱断。于是遐迩咸知所守实扼险要，狡敌寝谋，粤境安堵。虎门以外，尚有横门、崖门及虎跳、磨刀诸门，可绕至省城之右；公编查沙户渔船数千艘，分守支河汊港。而琼州者，近接越南，尤夷所必争，初拟自往；士民吁留，乃令道员王之春往。议者徒谓公以平素威名摄服夷人；而不知规画周详，有如此也。和议将成，公抗疏力争，谓有五不可和：『法夷无端生衅，不加惩创，遽与议和：不可者一。法夷未受惩创而请款，是必中藏诡谲：不可者二。法夷不索兵费，但求越南通商，恐将必有十倍取偿于后者：不可者三。以外强中干之法夷，不问其罪，降心就和，诸夷必环向而起：不可者四。云南物产富饶，为西人垂涎，若与议款，必许通商，广传邪教以张羽翼；一旦窃发，将何以支：不可者五』。又言有五可战：揣敌情而可战者一，论将才而可战者二，察民情而可战者三，采公法而可战者四，卜天理而可战者五。然朝议意主柔远，不果用。公又尝密饬道员郑官应亲赴暹罗，约令潜师袭法人占踞之西贡；又欲率全部十四营由钦、廉度十万大山过五峒，出越南收复北宁。此二者，或咎公之轻发；不知当日实因谅山、兴化诸军早经撤入关中，故二策皆不可行，非公策之不善也。治军之暇，留心粤东利弊。请豁摊捐，以免赔累；核厘捐，以杜侵渔；补署差委，务宜公平；著名劣幕，概予驱逐：皆于吏治有益。及议和成、军务毕，又陈善后事宜。请海军总统驻扎吴淞，分设两大镇，一驻南洋、一驻北洋，而练陆军以辅之。东三省宜创设兵轮、购配枪炮，分置要隘，以杜俄人窥伺。台湾宜练土勇，简任贤能，专任其事：皆深识远虑，所见者大。
公前在西湖，得偏枯之病；在粤三年，感受瘴疠，宿疾大发。自粤北归，至不能饮食、言语，行步须四人扶掖。连疏乞休，皆慰留。至十四年，始允开兵部尚书缺，俟病痊仍巡阅长江如故；而公病已不可为矣。公卒，年七十有五。娶邹氏、子永钊，皆先卒。有孙四人。其第二孙曰见绥，以后其弟玉麒；故诏书不及焉。
公性豪迈，善饮；喜讌客，而自奉至薄。不御肥甘，旁无姬侍，惟一、二老兵给事其旁。遇部下旧将，若布衣昆弟；而纪律极严。安徽有候补副将胡开泰召倡女饮，使妻行酒；妻不可，杀其妻。又有湖北忠义营营官副将谭祖纶诱劫其友妻，用计杀其友。治两狱者相持未决，公召至，诘得实，立麾出斩之；军中股弁。性喜文士，折节下之。工画梅，海内传者近万余本；公殁未久，即有以二十金易一幅者。能诗文，下笔立就。所为奏疏，皆自属稿；与人书，亦不假手记室：敷畅条达，忠义之气溢于楮墨间。是以易名之典，略其功业而独表其性情；上之于公，有特监矣。敬本斯意，而为之铭。铭曰：人之生直，其为气刚；刚则近仁，直大以方。明明天子，知公特详；锡此二字，纪于太常。公之故旧，私议其旁；情性似矣，功业未彰。岂知功业，非公独长；即在当时，并称彭、杨。至于性情，日月争光；睥眤宇宙，笑傲侯王。直如矢笴，刚若箭鋩。同时元老，令名孔臧：曾曰「文正」、左曰「文襄」；历观史策，后先相望。公曰「刚直」，自古未尝。皇朝谥法，稽之旧章；曰「刚」、曰「直」，莫克兼当。惟帝知公，特笔褒扬。传千百世，久而弥芳；朝野共识，妇竖不忘。辟除魑魅，激发忠良；「刚直」之泽，永永无疆！
——见「续碑传集」卷十四「光绪朝部院大臣」。
