曾国藩当初也和平常人一样，有着自己的不良毛病，但他与别人不同的地方就在于，一旦当他意识到其危害之后，为了能他日有所作为，就通过不断自律，严格限制自己的行为，改掉不良习惯，不断完善自身的修养。
曾国藩到京师的最初几年，也是一个凡夫俗子，没有什么特殊之处。他每天应酬特别多，这并不是他官做大了，应酬必不可少，相反倒是“没事找事”，消磨时光。
道光二十年四月，庶吉士散馆，他以第一等第十九名留在翰林院。中国传统的做官之道是重中央轻地方，虽然中央的俸禄不比地方高，但可以结交朝中大臣，所谓“朝中有人好做官”。更重要的是，在中央为官，尤其是翰林院官，属于“天子近臣”，如果一个人的水平可以，很快就会脱颖而出，升迁的机会自然要多得多。做地方官则不然。按过去的体制，任地方官有冲、繁、疲、难的区分，“疲”，说白了就是穷地方，在这个地方很难干出成绩。与曾国藩前后任进士的胡林翼便可以说明问题。他在贵州一干就是九年，后来他发誓宁愿出外当慕僚起家，也不愿继续留在贵州效力。胡出贵州时只是个道员，而曾国藩已是官居二品的侍郎了。
曾国藩留在翰林院后，“本要用功”，但“日日玩憩，不觉过了四十余天”。此后的一段时间，除了给家里写一封信商议家眷来京之事外，“余皆怠忽，因循过日，故日日无可记录”，每天都是送往迎来，吃酒、读书、闲侃。所以他早期的《日记》每天都在“检讨”，但每天都会故伎重演。显然这种品性，若不能自察自改，是无益于自己的目标，不能成就大事的。
按翰林院的官员，读书养望、切磋交往是“本职工作”，本无可厚非，但每天如此打发日子，终究养不成经世的韬略。道光二十二年十月的一天，曾国藩读了《易经·损卦》后，即出门拜客，在杜兰溪家吃了中饭，随即又到何子敬处祝贺生日，晚上又在何宅听了昆曲，到了“初更时分”才拖着疲倦的身躯回到家中。当天的日记又充满自责，说，“明知（何子敬生日）尽可不去，而心一散漫，便有世俗周旋的意思，又有姑且随流的意思。总是立志不坚，不能斩断葛根，截然由义，故一引便放逸了”。《日记》中仍不忘“戒之”二字。
但决心一再下，行动依然如故。当月的二十四、二十五两天，京城刮起大风，曾国藩“无事出门，如此大风，不能安坐，何浮躁至是！”“写此册而不日日改过，则此册直盗名之具也。既不痛改旧习，则何必写此册？”
曾国藩认识到“往来征逐”，就是浮躁，这已成为他的两大病根之一了。他虽强迫自己静下来，坐下去，但读《易经》中的《旅卦》、《巽卦》却一无所得，甚至连“白文都不能背诵，不知心忙什么。丹黄几十页书，如勉强当差一样，是何为者？平生只为不静，断送了几十年光阴。立志自新以来，又已月余，尚浮躁如此耶！”他也分析为什么如此交游往来，无非是“好名”，“希别人说自己好”。并说这个病根已经很深，只有减少往来，“渐改往逐之习”。
曾国藩除了往来吃请、征逐日月之外，还有一个“喜色”的毛玻
《日记》中记载这样几件事：道光二十二年十二月的一天，曾国藩的一位朋友新纳一小妾，年方十四，人称貌若桃花。曾国藩与一帮文人朋友谈诗论赋之余，不免也常谈东家美媳西家婆娘之类所谓“浑话”。这对清闲的文人生活可能是一种调剂。曾国藩得知他的朋友纳姬甚美后，心中羡慕不已。一次借故到朋友家，曾国藩先聊了点学问，随后称赞这位朋友的艳福不浅。这还不算，曾国藩还非要一睹芳容，朋友心存不愿，但曾国藩“欲强见之”，无奈，朋友只好将新过门的姬妾呼之而出。曾国藩还当面说了些挑逗的话，令人很难堪。当天的《日记》写道：“狎亵大不敬。在岱云处，言太谐戏。车中有游思。”从曾国藩所记“大不敬”而言，他肯定有出格的举动。岱云是他的另一位好友，由于曾国藩没有忘情他的“狎亵”之举，因而他说的话都是“谐戏”之语，甚至在回家的路上，还浮想联翩。
数日后，曾国藩听说在菜市口斩一位武臣，别人邀他一同看热闹，曾国藩“欣然乐从”，连杀人这样的事都愿看，曾国藩觉得自己成不了理学家，“仁心丧颈，走在路上很后悔，但当着众多朋友的面又不好回去，因此“徘徊良久，始归”。他说自己“旷日荒谬至此”。
曾国藩虽然没有看斩杀武臣，但回去后却怎么也静不下来。他又没事找事似的到雨三的家中，当时雨三很忙，但曾国藩东拉西扯，非要谈谈“浑”。《日记》说：“谈次，闻色而心艳羡，真禽兽矣。”从雨三处出来，已是很晚，曾国藩仍不愿回家，又到子贞家中，三更而归。《日记》说自己“无事夜行，心贪嬉游”。嬉游、狎亵往往是出入歌馆妓院的不正当行为的用语，曾国藩的日记中有几次这样的记载，是否说他也不能免俗？从他的父亲给他写信，嘱咐他要“节欲、节劳、节饮食”来看，早年的曾国藩极可能有这方面的不检点之处。而且，节欲、节劳、节饮食正好说明曾国藩经常四处征逐、酒欢宴席已成一大习惯。
曾国藩的妻子欧阳氏身体不是很好，时常患玻一次曾国藩参加进士同学的团拜，由于所拜之家钟鸣鼎食、姬妾如云，这使曾国藩“大开眼界”，他的“喜色”之心油然而生，东张西望，颇失大雅。《日记》说：“是日，目屡邪视”，“耻心丧颈，当他悻悻然回到家中后，惶然不适。加之妻子闹病，因此“入夜心情不畅，又厌闻呻吟声”。白天的佳丽美景与病榻上的呻吟之声反差如此之大，使曾国藩无法忍受，乃出门到朋友处聊天，“更初归”。次日，妻子的病有所加重，曾国藩请吴竹如来诊视，由于周身为私欲所填塞，曾国藩的理学功夫大减，一听别人谈论理学，感到隔膜不人。而用宴请吃酒之事打发时光，他倒很乐意。
汤鹏是他的好友，著有《浮邱子》一书，颇得曾国藩好评。道光二十三年二月的一天，曾国藩前往汤鹏家赴喜筵，席问见汤的两个姬人，曾国藩故伎重施，“谐谑为虐，绝无闲检。”曾国藩早期《日记》的类似记载不限于以上几例。这说明血气方刚，刚过而立之年的曾国藩也有七情六欲，也是一个正常人，他对女性充满了爱，尽管这种“爱”是在性意识支配下的“爱”，但至少从一个侧面真实地反映了曾国藩的情感世界。他后来能够大成功，就在于一改昔日所为，“截断根缘，誓与血战一番”。
曾国藩早年有“三大戒”，其中之一是戒色。他也认为，沉溺于此是妨碍事业的。他还认为，在外人面前，夫妻问尤不能过分亲密。虽然如此，曾国藩还是很难做到，骂自己是禽兽。
曾国藩自己承认，“有用之岁月，半消磨于妻子”，三月初二日，“日中，闺房之内不敬。去岁誓戒此恶，今又犯之，可耻，可恨！竹如来，久谈。久不克治，对此良友，但觉厚颜”。他说自己“明知体气赢弱，而不知节制，不孝莫此为大”。
但随着年龄的增长，曾国藩这方面的“不敬”很快有了大的变化，成为庄重、诙谐而不失君子形象的一个人。曾国藩就是这样，为了能他日有所作为，严格限制自己的情欲，甚至夫妻之间正常的情感交流都严加克制。在儒、家老祖宗孔孟那里，都承认“食色，性也”，但曾国藩认为，人的私欲、情欲一旦膨胀就难以收拾，终会妨碍大事业。他以后位及人臣，但坚决不纳妾，生活作风上也严格自律，这是他不同于同时代的封建士大夫的地方，也是他精神品格上的突出之处。
曾国藩为了实现“澄清天下之志”，针对自己的不良习惯，他提出三戒：一戒吃烟，二戒妄语，三戒房闼不敬，后来都做到了。
吸烟有害健康是今天人人皆知的常识，但吸烟对人的精神有影响，就不是人人明了的。曾国藩通过自己的切身感受告诉人们这样一个道理。曾国藩认识到，应酬过多，精神就难以集中，做起事来也会出差错。此外，吸烟也对此有很大影响。他说：精神要常令有余，做起事来才能精气十足而不散漫。“说话太多，吃烟太多，故致困乏。”
意识到危害后，他发誓从道光二十二年十月起戒烟，并作为“三戒”之一。但最初戒烟日子很不好过。为了打发难熬的时光，他找朋友们下棋、聊天。日记中写道：“即宜守规敬事，乃闲谈荒功，不溺情于弈。归后数时，不一振刷，读书悠忽，自弃至矣。乃以初戒吃烟，如失乳彷徨，存一番自恕的意思。此一恕，天下无可为之事矣。急宜猛剩”曾国藩把初次戒烟喻为婴儿断乳，形象地说明了他对吸烟的溺爱及戒烟的痛苦。
