如果没有太平天国，如果没有募勇练兵，曾国藩充其量只能做个默默无闻的高官和学识渊博的学者。但是历史给了他成就更大功业的机会——练兵、统军。曾国藩以常人不曾具备的决断能力找到了自己成大事的根本出路。
（1）从意外办理团练起家
曾国藩于1853年1月2日（咸丰二年十二月十三日）接到寄谕，令其协同巡抚办理湖南团练，镇压农民反抗。当时，他刚在两个月前将母亲的棺柩厝置于居室之后，还没来得及举行葬礼。接到这个谕旨，不由使他左右为难起来。对地主阶级来说，镇压这些在太平天国革命鼓舞下即将起来造反的群众，尽快恢复封建秩序，不能说不是当务之急。既有如此机会，何不出手一试？从这方面想，曾国藩觉得是应该出山的。但想到另一方面，又使曾国藩感到难于成事，顾虑甚深。他一怕丁忧期间出来任事受人讥笑；二怕在自己家乡办理地方事务，多有不便。不过这还都是次要的，更为主要的是，他痛恨统治阶级当权者的腐败无能和一般地主士绅的软弱散漫，担心难以同这些人合作。倘若事事掣肘，处处荆棘，则自己无望成功，有缘受过。与其将来自遗后悔，不如现在就深居不出。想到这些，又使曾国藩神气沮丧，裹足不前，遂具疏辞谢，陈请终制，准备交张亮基代发。不料就在这时忽然接张亮基的来信，惊闻太平军攻克武汉的消息，曾国藩的心立刻紧缩起来，深恐太平军一旦反攻过来，巢穴不保，安身无处。因而心为所动，感到深居山林，亦非乱世良策，又对自己的决定踌躇起来。恰在此时，郭嵩焘受张亮基之托，连夜赶到曾家，敦劝曾国藩出山。郭嵩焘对曾国藩说，你“本有澄清天下之志，今不乘时而出，拘于古礼，何益于君父？且墨絰从戎，古之制也”。这些话正中曾国藩的下怀，只是难于改口。于是郭嵩焘又去动员曾国藩的父亲，曾鳞书亦同意郭的看法，怂恿曾国藩出办团练。这样，曾国藩既有保全桑梓的名号，又有父命可秉承，就不怕别人疑其用心，讥其不孝了。因而破釜沉舟决意出山。后来，他在给江忠源的信中解释自己的这一思想变化说，“大局糜烂至此，不欲复执守制不出之初心，能尽一分力必须拼命效此一分，成败利钝，付之不问”，这些话是基本符合他的实际情况的。这也说明，他在乡居的几个月中，思想又深化了一步。他之所以把问题看得那么难，就是因为他对问题想得比当时的一般人深透得多，要解决这些问题就决不是小修小补所能奏效的，因而，不干则已，干必从头做起，放手大干。曾国藩就是带着这种拼命直前，不顾一切的情绪投入对农民阶级和内部反对派的斗争的。1853年1月25日，曾国藩和郭嵩焘一起从家乡动身前往长沙。途经湘乡县城时，又特意会见了朱孙诒、罗泽南、刘蓉、王鑫等人。他们刚接到湖南巡抚张亮基征调湘乡练勇一千人赴省守卫的扎饬，便与曾国藩一同启程，1月30日赶到长沙。这些人也就成为曾国藩办理团练、训练湘军的最初班底。
（2）打造一支可以倚仗的铁军
太平军离开湖南后，湖南原有驻军大部分跟向荣一起尾追而去，因而造成湖南省城长沙和全省各地兵力空虚的局面。对于这种状况，曾国藩深感忧虑，一方面害怕太平军重新打回来，攻打长沙，本省无力防守；一方面又怕群众起来造反，省城与各县无兵可派。针对上述情况，曾国藩采取了三种对策。曾国藩认为，对付集中而强大的太平军，必须有一支凶悍敢战的军队。有了它，太平军返回湖南，可以据城抵抗，守卫“桑梓”；太平军不来湖南，则可以出省作战，主动进攻。而这支军队的来源，不外两个途径，一是从外省调拨，一是自己募勇训练。从当时情况看，第一种办法是行不通的。各省既已自顾不暇，何有兵力支援别省？况且，即使费尽气力拼凑一些，也不一定顶用。因而，最好的办法还是集勇训练，自己解决。湖南巡抚张亮基早已想到了这一点，并且在此之前已札调湖南一些府、县的练勇来省城助守。曾国藩带领湘乡练勇赶到长沙时，各县练勇也陆续赶到，其中主要有新宁县的楚勇、辰州府的辰勇、宝庆府的宝勇、浏阳县的浏勇、泸溪县的泸溪勇等。曾国藩还就如何办理团练和集训练勇的问题与张亮基进行过讨论。曾国藩认为，“团练保卫乡里，法由本团醵金养之，不饷于官，缓急终不可恃。”因而提出将所调各县练勇改为募勇，训练成军，用以对抗太平军和镇压本省各地会党活动。张亮基同意了曾国藩的意见，遂将调集省城的各县团练武装改为官勇，由湖南巡抚和团练大臣负责指挥，发粮饷。当时曾国藩称湖南官勇为“大团”。他到达省城的第二天就在征得张亮基的同意后，发出了他早已拟好的奏折。曾国藩在奏折中说，太平军既破武昌，就有重回湖南的可能，长沙为省城重地，不能不严加防守。现在湖南兵力空虚，长沙防御薄弱，而邻近各省又无兵可调，因于湖南省城立一大团，就各县曾经训练之乡民，择其壮健而朴实者招募来省。1853年1月曾国藩初到长沙时，张亮基所调各县练勇除湘勇外，还有楚勇、浏勇、泸溪勇、辰勇、宝勇等，其后楚勇、泸溪勇均在张亮基调任署理湖广总督时全部带走，辰勇、宝勇交由塔齐布教练，实际上由曾国藩直接训练的只有湘勇。曾国藩最初带往长沙的湘勇只有一千零八十人，分为三营，中营由罗泽南管带，左营由王鑫管带，右营由邹寿章管带。1853年夏湘勇已增募至八营两千七百人，罗泽南率领三营一千人赴援江西，王鑫率一营前往衡山、桂东、兴宁一带镇压会党，邹寿章率一营去浏阳守卡，防止太平军由江西进入湖南。这样，曾国藩身边便只有新募的新化勇三营一千多人了。于是，他便对这批新勇进行严格训练。曾国藩对付个别群众和小股会党反抗活动的政策是“就地正法”。其具体办法是令各地团练头子直接捕杀和捆送形迹可疑、眉眼不顺之人，或批令各县就地处决，或送往省城交他讯办。当时政局动荡，天下大乱，一般地主富户都不敢公开同贫民、会党作对，各地肯于出面办理团练的，多是为恶一方的土豪劣绅。他们平时武断乡曲，鱼肉百姓，一旦办起团练，就更是无法无天，成为当地的土皇帝，他为了迅速地把各地农民的反抗活动镇压下去，就大张绅权，积极扶植这帮反动派，用以对付贫苦农民和会党群众。
（3）在排挤和讥讽中求发展
曾国藩练勇，除每日进行军事训练外，还规定三、八两日进行政治训练，其具体办法是由曾国藩亲自对兵勇训话，重点是纪律教育和为人处世之道。从1853年5月起，又通过塔齐布传令营兵会操，并与练勇一起听取政治训话，虽盛夏亦无一日之间断。绿营将骄兵惰，一向蔑视团练，轻视文官。在他们看来，曾国藩以团练大臣令他们与练勇会操，简直是一种污辱。结果，令出之后，惟塔齐布独领所部前往，其余驻长沙各营，不仅拒绝会操，还指责塔齐布谄事曾国藩，群起而攻之。曾国藩闻之，遂以平日惰于操练、战时临阵退避为由参劾德清。德清不服，前赴湖南提督鲍起豹处诉冤，并反控曾国藩六月操兵为虐士，塔齐布与练勇会操为破坏营制。鲍起豹遂扬言，盛夏操兵乃虐待军士，敢有违令操演者军棍从事。塔齐布闻之畏惧，从此再不敢领营兵前去会操，湖南司道官员见此情景心中暗喜，以为是对好事者应有的惩戒。在这种气氛下，绿营兵就更加气焰嚣张，肆无忌惮。不久，鲍起豹的提标兵（又称永顺兵）与塔齐布统带的辰勇因赌博发生斗殴，提标兵鸣号列队，准备讨伐辰勇。曾国藩欲杀一儆百，稍抑绿营兵这种怯于战阵而勇于私斗的风气，遂移咨提督，指名索捕肇事士卒。鲍起豹非常气愤，故意大肆张扬，公然将肇事者捆送曾国藩公馆。提标兵群情汹汹，散满街市，先去围攻塔齐布，毁其居室，塔齐布匿于草中幸免丧命。接着，又于当晚冲进曾国藩的团练大臣公馆，枪伤随身亲兵，几乎将他击中。曾狼狈万状，只得向骆秉章求援。曾国藩的公馆就设在湖南巡抚衙门的射圃内，中间仅一墙相隔，事情闹到这般地步，近在咫尺的骆秉章竟装聋作哑，坐观事态的发展，直待曾国藩前去打门，方才故作惊讶，出面解围。骆秉章一到便给肇事者亲自松绑，并向其赔礼道歉，而对备受屈辱的曾国藩却无一语相慰。事过之后，骆秉章对永顺兵和鲍起豹亦无追究弹劾之词，永顺兵事件遂不了了之。
（4）以统一的标准、严格的要求募兵求将
经过多次打击和挫折，曾国藩愈益感到绿营兵的腐败不可用，从而更加坚定了另起炉灶、重建新军的决心。曾国藩募兵求将时，他所要求的兵是：须择技艺烂熟，年轻力壮，朴实而有农夫气者为上；其油头滑面而有市井气者，有衙门气者，概不收用。他在上皇帝奏疏中也曾说过：山僻之民多犷悍，水乡之民多浮滑，城市多游惰之习，乡村多朴拙之夫，善用兵者，常好用山乡之卒，而不好用城市近水之人。所以曾国藩在初募湘军时，每天坐在招募处，看到黑脚杆而又不好说话的乡下人，便连声说“好、好”，表示可以选上；如果看到近城市的人，或好说话的人，则“唔、唔”两下，表示不可选上。因此湘军士兵，几乎无一不是黑脚杆的农民。这些朴实的农民，既能吃苦耐劳，又能忠勇，一上战场，则父死子代，兄仆弟继，义无反顾。有兵如此，怎么会不打胜仗呢？选兵如此，曾国藩对于带兵官的选择，自然是更加慎重了。他选将的标准有四：带勇之人第一要才堪治民；第二要不怕死；第三要不逐名利；第四要耐受辛苦。四者似过于求全，而苟缺其一，则万不可以带勇。带勇须智深勇沉之士，文经武纬之才！另方面，曾国藩还有一个选将标准，就是不用喜欢爱说话的人。他说：将领之浮滑者，一遇危险之际，其神情之飞动，足以摇动军心，其言语之圆滑，足以淆乱是非，故湘军历来不喜善说话之将。在训练上，曾国藩仿戚继光治兵成法，逐日训练，阵法技击，无不演习，至少操练两个月。凡体弱者，艺低者，油滑者，都陆续淘汰。最重要的还是精神训练。曾国藩说：“恐民心一去，不可挽回，誓欲练成一旅，秋毫无犯，以挽民心而塞民口，每适三八操演，集诸勇而教之，反复开说至千百语，但令其无扰百姓。自四月以后，间令塔将传唤营官，一同操演，亦不过令弁委前来，听我教语。每次与诸弁兵讲说至一时数刻之久，虽不敢云说法点顽石之头，亦诚欲以苦口滴杜鹃之血。练者其名，训者其实，听者甚逸，讲者甚劳。今各弁固在，具有天良，可复按而一一询也。国藩之为此，盖欲感动一二，冀其不扰百姓，以雪兵勇不如贼匪之耻，而稍变武弁漫无纪律之态。”（《与张石卿制军书》）曾国藩选择营官非常注意他的精神品行。他说：欲练乡勇万人，概求吾党质直晓军事之君子将之，以忠义之气为主，而辅之以训练之勤，相激相，而后可以言战也。（《致江氓樵书》）只有精神还不够，还要有物质的条件，曾国藩在起始办团练的时候就规定口粮：操演日给予一钱；出征本省“土匪”，每日一钱四分；征外省“粤匪”，每日一钱五分。队长哨长以次而加。养伤银上等三十，中等二十，下等十两。阵亡恤银六十两。比绿营的饷银差不多加了一倍。由于曾国藩带兵简直是以父兄教导子弟一般地诚信感孚，恩礼有加，湘军士兵，自然亦视长官如父兄，充分做到了上下一心，同仇敌忾的精神。
（5）变“兵为国有”为“兵为将有”
曾国藩的湘军士气民心较为高旺，这是他以儒家的精神教育灌输后所发生的效果。其他各省，虽然也办团练，也募乡兵，但因他们并不知道注重教育与训练，而长官与士兵之间又缺乏亲爱精诚的感情基础，所以终归仍是无用的赘疣而已。明了了这一点之后，我们当可知道，湘军之成功，应归于曾国藩的“精诚感召”与“正确领导”。后人推崇他军事学方面的修养，亦即是由此而来的。曾国藩除了以儒家精神选兵、练兵外，还从组织上保证了湘军的稳定性与战斗力。他摒弃了以往绿营军的世袭兵制，改以募兵制，以随着形势的变化和需要随时增减或裁撤部队。同时，将“兵为国有”变为“兵为将有”。为了加强对士兵的控制和湘军内部的团结，曾国藩又在两个方面作出了努力：一是加强各级军官的权力，下级绝对服从上级，士兵绝对服从军官；一是募勇的地域原则和私人情谊至上的原则。曾国藩规定，湘军的招募、统领由大帅挑选，营官由统领挑选，哨官由营官挑选，什长由哨官挑选，士兵由什长挑选。这样，士卒由私人关系转相招引，军官则凭个人好恶任免，官与官之间也靠同乡、同事、师生、朋友等私人感情相维系，遂形成湘军各树一帜，各护其长的风气，久而久之，逐渐变成一支军阀武装。
（6）根据情势以厚饷养兵
曾国藩认为，绿营兵所以缺乏训练，战斗力甚低，一是差役太重，一是兵饷太低。湘军饷章对弁兵薪饷的规定是相当优厚的，尤其是营官和统领，连曾国藩都不能不承认“章程本过于丰厚”。统计其各项收入，营官每月为二百六十两，分统、统领带兵三千以上者三百九十两，五千以上者五百二十两，万人以上者六百五十两。故王闿运说：“将五百人则岁入三千，统万人岁入六万金，尤廉将也。”湘军将领除多隆阿一人外，“人人足于财，十万以上赀殆百数”。于是，“将士愈饶乐，争求从军。”这样，固然调动了湖南农民，尤其绅士、文生的从军积极性，但同时也为日后筹饷带来困难。为解决这个矛盾，湘军采取发半饷的办法，一般只发五成饷，欠饷数月以至半年，成为普遍现象，久而久之，形成风气，士兵亦习以为常。为防止士兵离营，甚至有意拖欠军饷，或扣下大部分饷银存入公所，等士卒遣散或假归时进行核算，酌发部分现银以充川资，其余部分由粮台发一印票，至湖南后路粮台付清。若士兵擅自离营，欠饷、存饷即被没收，不再发给。这样，士兵苦无川资，又恋于饷银，也就不会轻易离营了。同时，士兵一旦假归或遣散回家，就能领到一大笔银两，对未曾应募入伍的人也可以产生巨大的诱惑力。这样，曾国藩就达到了一箭三雕的目的：既减轻了筹饷的困难，又防止了士兵的逃跑，还能引诱大批农民和书生踊跃应募。
（7）练成了陆师水师两大主力
湘军分为水陆两部。陆师的建立最早应从1853年算起。这年夏天，曾国藩同江忠源商定练勇万人的计划，初步确定了湘军的规模。曾国藩打算编练成军之后，概交江忠源指挥，以为镇压太平天国革命的军事资本。这年秋天，又奉创办水师之命，遂改原定集练陆师万人的计划为水陆各五千人，营制亦改为每营五百人。然而，这时湘军陆师的实际人数已大大超过五千人，因而不得不对现有各营进行缩编。曾国藩提出，邹寿章、周凤山、储玫躬、新化勇各为一营五百人不变，塔齐布、罗泽南各将两营七百人缩编为一营五百人，王鑫六营约二千二百人缩编为三营一千五百人，其余遣散。王鑫不服，认为这是曾国藩借故打击自己，并诉之于骆秉章。骆秉章认为王鑫所募新勇可用，无须遣散。从此，王鑫率营脱离曾国藩，投靠骆秉章的门下。又因罗泽南年岁（四十六岁）较大，不愿再次远征，而湘南地区仍有天地会的活动，亦须留有一定兵力，遂将罗泽南部湘军留驻衡州。这样，随同曾国藩出征的陆师就仅有六营三千人了。恰在这时，平江知县林源恩投书曾国藩，愿充一营官。曾国藩令其募平江勇五百，编为一营。另外，又令朱孙诒、邹世琦、杨名声各募一营，凑成十营五千人之数，使湘军陆师初具规模。湘军水师的筹建晚于陆师，它是在曾国藩移驻衡州后开始的。清朝绿营水师分为外海和内江两部分，外海水师驻广东、福建沿海，内江水师驻长江沿岸各要隘。至咸丰初年，外海水师尚存，而内江水师久已废弛。两湖三江皆无炮无船。偶有少数炮船，亦不过在民船上装炮而已，实不能作战。自1852年12月太平军在益阳、岳州得民船万只，建立水师之后，千船百舸，蔽江而下，千里长江完全控制在太平军手中。
1853年太平军围攻南昌之初，曾有个名叫黄经的御史上奏清廷，请饬湖南、湖北、四川造船练兵，从水上攻击太平军。咸丰皇帝遂批令两湖、四川照奏执行。命令发到湖南后，骆秉章甚感为难，便以力所不及为由将其搁置起来，不予照办。及至郭嵩焘赴援南昌，见太平军驻兵船上，进退自如，往来迅速，感到欲与太平军争雄，必先建水师，夺回舟楫之利，遂向江忠源提出筹建炮船的建议。江忠源对此极为重视，马上上奏清廷，请饬两湖、四川造船，并由广东购洋炮千尊，以装备炮船，兴建水师。清廷依议，这年9月再次命令两湖、四川制造战船，并令广东购洋炮五百尊交湖广、四川，安置船上，顺流而下，与下游水师夹击太平军。命令传到湖南后，曾国藩便与骆秉章商定，以筹建水师自任，这是湘军筹建水师之始。开始一个阶段，既缺资金，又无人才，甚至连适合造船的木材也找不到，只好购买钓钩、小之类民船加工改造，暂充炮船。这年11月清廷令曾国藩赴援湖北，曾以水勇未练，炮船不齐，予以拒绝，并乘机奏请提取存放长沙的广东解往江南大营的饷银四万两，以为购炮造船的经费。曾国藩得到这批银子后，造船的速度便大大加快了。由于湖南无人懂得炮船船式，工匠亦不会造船技术，曾国藩在造船过程中曾遇到很大困难。最初制造大筏以压风浪，后又仿端午竞渡之舟制造战船，结果均告失败。后来得岳州水师守备成名标及广西候补同知褚汝航，两人到过广东，见过广东水师的战船。他们告诉曾国藩：广东水师有拖罟、长龙、快蟹等战船，那才是真正可以作战的船只。于是曾国藩在衡州、湘潭分设船厂两座，委派成、褚二人为监督，依照广东式样，打造战船。又采纳黄冕的建议：添造小战船一种，名叫“舢板”，以供搜索港汊之用。自咸丰三年冬到次年春初，湘军水师编组完成。计水兵五千人，分为十营，每营五百人，拥有快蟹四十艘，长龙五十艘，舢板一百五十艘。另有拖罟大船一艘，作为大帅坐船。又买钓钩船一百二十艘，配上大炮五百尊，改为炮船。又雇用民船一百余条，装载军需辎重。这支水军，七拼八凑总算告成。现在看来，未免幼稚可笑；但在当时，这已是中国历史上最“现代化”的精锐“海军”了。水师十营，以褚汝航为总统；陆师也是十营，五千余人，以塔齐布为先锋。合计水陆士兵，约一万七千余人。这时候的曾国藩，俨然已是独当一面的军事统帅了。
如果没有太平军横扫天下，逼得清帝手忙脚乱，曾国藩作为一介书生，可能最终会作为一位大学问家名世，仕途再畅，也不会立下为后人仰羡的丰功伟业。但是乱世之中，为什么只有曾氏能抓住机会，成就一世英名呢？应该说这首先要归功于他对世事的洞察，对局势的把握和常人难及的统驭之才。当时咸丰的谕旨不过是让他“帮办团练”，而他却抓住这个机会，练成了一支善战之师，我们不能不说，曾国藩的成就是“练”出来的，这个“练”的过程，就是他抓住机会的过程。
