曾国藩思念家中的亲人，家人也同样盼望着久别的他能够尽早团圆，只是儿女私情跟国家大事比起来，总是显得那么渺小。家中老人为了不妨碍儿子的前程，给曾国藩写信时告诉他，让他一意服官，不必挂念家中之事。
不久，曾国藩连升三级，升任内阁学士兼礼部侍郎。
道光二十九年（1849年），曾国藩的父亲曾麟书年届六十。按中国人的传统习惯，花甲之年属于大庆，应该把寿辰办得更风光。在京城的曾国藩又不能自已，决定明年请假回乡再办。曾国藩虽然急切地盼望回归故里，但这次依然没能成行。不久，祖父病逝的消息从湖南老家传来。曾国藩闻讣后请假两个月，在京中寓所穿孝，以托哀思。
咸丰二年（1852年）6月12日，曾国藩在焦急不安中被钦命充江西乡试正考官，奏准回籍探亲。江西毗邻湖南，距湘乡尤近。因此，曾国藩次日递折谢恩时，奏请试竣后赏假两月回籍省亲。咸丰允准。
6月24日，满怀着为朝廷取士的“热望”和与家人久别重逢的喜悦，曾国藩驰驿而行。繁华的京城和威严的紫禁城被远远地留在了身后。他不会想到，这一次离京，一别就是十几年。他也不会想到，时代的激荡把他引向另一条道路。他更不会想到，这一次离京，儒生真的羽化成“蛟龙”，他的命运已与大清朝息息相关。
曾国藩乘坐官备驿站，经直隶，过安徽，经过一个月的旅行，于7月25日，行抵安徽太和县境的小池驿时，接到了母亲江氏已于6月12日逝世的讣闻。曾国藩想起十几年前的分别竟成永别，想到操持一生的母亲临终前竟没有见到身穿二品官服的儿子，他痛心不已，遂调转方向，由九江登船，急急奔回原籍奔丧。
曾国藩一到湖南，满耳朵听的是太平军节节北上，清军抵挡不住，形势如何紧迫的风声。实际上，在曾国藩逆长江行至汉阳时，湖北巡抚常大淳便告诉他：长沙已被“粤匪围困”，只得由水路改走旱路，经湘阴、宁乡而达湘乡。四十二岁的曾国藩扶棺痛哭。9月22日，曾国藩的母亲江太夫人被安葬在下腰里宅后。此时的太平军已锐不可当。
回家奔丧，本该好好祭悼生他养他，一别十几年，临终又未得见上一面的慈母。但是，这些却被太平军北进的消息冲淡了。长沙之围虽解，但太平军是主动撤围，意在加快北上的速度。不久便攻克岳州，攻占汉阳、武昌。太平军所到之处，清军不是一触即溃，就是闻风而逃。
咸丰二年（1852年），太平军出广西，入湖南，连克州县，湘省各地“会党蜂起应之”。8月，太平军围攻长沙，全省震动，地主富豪纷纷逃命，郭嵩焘兄弟及湘中名宦左宗棠兄弟也率眷属避入玉池山梓木洞。年底，太平军兵指湖北，水陆并进，“帆帜蔽江，所过城镇，望风披靡”。
与太平军的势如破竹相反，清军一触即溃，接连丢失重要城池，大有土崩瓦解之势。这一年年底，太平军以地雷轰塌武昌城墙，遂克武昌。这是太平军攻下的第一座省城，举国为之震动。眼看江南半壁江山换了颜色，咸丰皇帝气急败坏。虽然他早就知道八旗兵与绿营兵软弱涣散，但没想到竟如此不堪一击。前方局势的急转直下，促使清廷高层不得不寻找另外的救急之策，这就是令各省在籍的大臣举办团练，自卫桑梓。
咸丰皇帝让曾国藩留乡办团练既有一般性又有他特殊的背景。
此时，太平军势力浩大，清军无力对抗，清政府下令地方官举办团练，尤其命令回籍的官员为团练大臣，利用人地两熟，在地方又有号召力的官员组织地方武装，对抗太平军。如：1852年9月，任命刑部尚书陈孚恩为江西团练大臣；1853年2月，任命在家养病的广西巡抚周天爵为安徽团练大臣；不久，又命工部侍郎吕贤基办团练。仅仅1853年3月到4月，就先后任命四十五人为团练大臣，仅山东一省就有十三人，曾国藩也是在这时被任命为湖南团练大臣的。
咸丰二年十一月末，咸丰在给湖南巡抚张亮基的谕中说：
丁忧侍郎曾国藩，籍隶湘乡。于湖南地方人情，自必熟悉。著该抚传旨令其帮同办理本省团练，搜查土匪事宜，必尽心不负委任。
中国封建社会历来讲究“以孝治天下”，清代更有明文规定，无论多高职务的官员，父母死了必须离职守制。如果朝廷特别需要这位官吏，必须发特诏命其不必去职，以素服办公，不参加吉礼；或于守制尚未期满之时，即令复职，这种制度称为“夺情”。
不过，此时的曾国藩是有所顾虑的。其一，这时出山，有违孝道。亡母尚未安葬，若此时出山，必有违丁忧离职守制大礼。一直以来，自己整天都满口满纸的忠孝仁义，若也违制，天下人难免会耻笑。其二，投笔从戎，心里没底。自己只是一介文员，并不懂兵法，假如现在投身战场，肯定会有巨大磨难，一旦办理不善，可能连官职性命都保不住。其三，手中无兵，官场复杂。他对清朝的官场腐败是有着深切认识的，明白要办一事，处处荆棘，若是率兵打仗，要人、要枪、要饷，就必然会同上下各级发生纠葛，办起事来一定困境重重，束手缚脚，举步维艰。
考虑到了种种难处之后，他便一边写信拒绝了张亮基的邀请；一边写折子，让张亮基代发，辞谢皇帝的圣意，并请求在籍守制三年。
没想到，就在这个时候，太平军攻克了武汉，很快就要反攻湖南。这使得刚坐到湖南巡抚宝座上屁股还没热的张亮基急得像热锅上的蚂蚁，立马命郭嵩焘连夜赶往曾家，劝说曾国藩出山。
恰巧在这一天，好友郭嵩焘赶到湘乡为曾母吊唁。县令朱孙诒清楚郭与曾的关系非常，故不敢怠慢，立即传官轿送郭嵩焘前往曾家。120里的路，郭嵩焘赶到曾家时已是深夜。两人秉烛畅叙，当谈及时事时，曾国藩说自己要守制，不能出来主持团练。郭嵩焘说，素知曾国藩野心勃勃，以整治封建秩序为己任，现在面临“乱世出英雄”的机会，你为什么不大大施展抱负，尽忠皇帝呢？郭又拿出“古已有之”的例子来说服曾国藩，情真意切，不可言表，给标榜“忠孝”的曾国藩一个很好的台阶下，但曾国藩为了表示尽孝的“决心”，仍表示不同意。郭嵩焘又反复与曾国藩的父亲谈“保卫家乡”的大道理，曾父认为讲得对，便把曾国藩叫到面前教训了一番。曾国藩这才应允。但多日不见起行。郭嵩焘又同他的弟弟郭昆焘一同前往曾家劝说，但曾国藩却以郭氏兄弟入幕参赞其事为先决条件，郭嵩焘只好答应。此后四年，郭嵩焘大部分时间都在曾国藩幕府中度过，成为湘军初创、曾国藩“大业”初起时的主要人物之一。
除了“忠”“孝”不能两全的矛盾外，曾国藩还是一个十分务实的人，他深知自己讲理学、佐朝政尚可称职，而对于兵法阵战、练兵打仗可以说是个外行，而且，打仗是人命关天的事，与写写文章不同。尤其是现在朝廷让地方乡绅自筹饷项，而自己平素所交之人，大多贫寒之家，拿不出银子，也招不到兵、勇。因此，当乡间名流好友及巡抚大员一再请他出山时，他最初均表拒绝。咸丰二年十一月，他就在写给刘蓉的信中，将他之所以迟迟不赴团练局的原因一一写明。
曾国藩办事讲究条理，往往从最根本处讲求。让一个身带墨孝的人出入乡绅富户之家，是对先人不孝，对他人不恭。况且，他的“人力资源”对于筹集饷项可以说没有大补。但是曾国藩又是一个有责任感的人。他对刘蓉说：“国藩居湘乡之土，为湘乡之民，义不可不同心合力保护桑梓，拟于百日之后前赴县门，以明同舟共济之义。”随即提出自己的意见：“鄙意以为壮勇贵精而不贵多，设局宜合而不宜分”，认为“但得敢死之士四百人，则固可以一战。”
12月15日，曾国藩又给他的内兄欧阳秉铨写去一信，请他前往京师，帮助将家眷接回湘乡，他还说自己在家服丧仅满四月，家中诸事尚未料理，此时若立即出山办理官事，则不孝之罪滋大。“且所办之事亦难寻头绪，若其认真督办，必须遍走各县，号召绅耆，劝其捐资集事，恐为益仅十之二，而扰累者十之八；若不甚认真，不过安坐省城，使军需局内多一项供应，各官多一处应酬而已。再四思维，实无裨于国事，是以具折陈情，恳乞终制。”为了取得昔日友好对他内心苦楚的理解，他还将折稿寄到京师，请内兄转交“相好中如袁、毛、黎、黄、王、袁、庞诸君，尽可令其一阅。此外如邵蕙西、李少荃、王雁汀、吕鹤田有欲阅者，亦可一阅。盖欲使知交中谅我寸心，不必登诸荐牍，令我出而办事，陷于不孝也。”
由此可见，曾国藩对出山办团练的困难考虑得十分细致、具体。这也可以看出他是一个务实的人。
在领命前去经办团练之前，曾国藩首先要安顿好家中之事。获知曾国藩要出山后，他的四个弟弟都要求随他离家参战，但他只答应带曾国葆一人离家，并叮嘱曾国荃、曾国华先在家守孝，等待更佳的时机再出来帮忙。
一切安排停当后，曾国藩再祭母灵，请求逝世的母亲的在天之灵能谅解他难尽孝道之举。为了对国家尽忠，他决定“墨绖（dié）出山”，去迎接那不可预知的未来。
