中国古代有“狡兔三窟”之说，是说办事情要多路经营，留有回旋的余地。曾国藩也深谙此道。他在建军初期，就奉行“两条腿走路”的方针，那就是既有湘军，又办淮军。
李鸿章招募淮勇，是秉承曾国藩意旨。曾国藩创立淮勇新军，当时主要是为了解决战线延长和湘军兵力不足的矛盾。还在1860年8月，曾国藩在《复奏统筹全局折》中，就提出了编练淮勇问题。但咸丰帝立即命都兴阿督办扬州军务，令湖北派拨精兵救援，曾国藩暂时无法实施。但曾国藩仍认为“用楚军之营制，练淮徐之勇丁”切实可行，这可以说是筹议淮军的先声。
1861年6月，曾国藩在湘军中组成了以黄翼升为统领的淮扬水师9营后，编练陆营淮勇的计划，便被提上议程。
招募淮勇，是曾国藩心中酝酿已久的大事。1859年初的招募皖北马队可以称为发轫之举；此后，在1860年8月议办淮扬水师时，曾国藩又接受胡林翼的建议，准备建立陆营以辅弼水师。
在李鸿章正式招募淮勇前，湘军系统已有3营“淮勇”，这3营分别为：一是马从震的震字营，马从震为桐城团练头目马三俊之子，其父1854年被太平军所杀，他于1860年3月到宿松投奔曾国藩，曾令其招募1营，号为淮勇，移师祁门后驻守榉根岭，不久即拨归左宗棠部入浙作战。二是张遇春的春字营，张为李鸿章旧部，1860年应李之召来祁门。三是李济元的济字营，李济元为1858年投降的皖南太平军将领，其部先作为团练随杨载福（岳斌）在建德一带作战，1860年7月由曾国藩选取500人，编为济字营。李鸿章募勇开始，曾国藩即将春、济两营拨归其统辖。
1861年12月，曾国藩基于同样的考虑，让李鸿章招募淮勇，组建援沪之师。李鸿章受命之后，考虑到“徒党星散”，“立时募练”困难重重，而庐州一带旧有团练较为强悍，自己对当地人情也较为熟悉，所以决定罗致并改编庐州一带旧有团练，组建淮军。于是坐镇安庆，征召庐州一带旧有团练。
曾、李决定“创立淮勇新军”后，李鸿章特邀张树声前来面商一切。张树声不仅自己募勇相从，而且还左提右挈，动员刘铭传等“各建旗鼓”。由于曾、李决定招募淮勇和庐州旧有团练，双方一拍即合，使得李鸿章招募淮勇十分顺利，多次在舒庐一带旧有团练中进行改编，而加以部勒营哨，即成新军。因而仅仅两月之间，李鸿章就成军数营。
李鸿章所募淮勇到安庆后，曾国藩“为定营伍之法、器械之用、薪粮之数，悉仿湘勇章程，亦用楚军营规以训练之”。2月22日，李鸿章移驻安庆北门城外营内，曾国藩亲临祝贺。李鸿章深知淮勇实力单薄，于是恳请曾国藩调拨数营湘勇，以加强战力。曾国藩为陶铸淮勇风气，因而允其所请，陆续调拨湘勇8营，拨归淮军，作“赠嫁之资”。所有这些，就是淮军初创时期的基干队伍，共计13营，6500人。3月4日，李鸿章陪同曾国藩检阅铭、鼎、树、庆和曾国藩调拨给李鸿章的程学启、滕嗣林等营，这标志着淮军正式成军。
淮军的基本骨干，当以李鸿章所率援沪的陆师13营为主，此为淮军之根本。然而，淮军援沪的陆师13营，并非李鸿章一手组成。首先，亲兵营2个营，就并非是李鸿章的亲兵，而是湘军统帅、两江总督曾国藩的标亲兵，为韩正国所统带，其源于湘军。其次，开字营，系借自曾国荃的，为程学启所统带，本身也是湘军，只是营中多为两淮子弟而已。再次，林字营2营，为滕嗣林、滕嗣武统带，虽非湘军，却系薛焕在湖南招募湘人而成。复次，熊字营，该营为陈飞熊统带，垣字营为马先槐统带，均系曾国藩在湖南所新招，后随同李鸿章援沪。
淮军建成后，就成了曾国藩势力的另一条腿，很快加入了镇压革命的行列。
并且，淮军的武器装备是晚清各支军队中，变化最大、最迅速的一支。淮军在1864年前后完成了第一次装备更新，尽弃冷兵器，实现了火器化。到80年代初又陆续完成了用后膛枪替代前膛枪的更新，而此时的湘军和练军仍保留着相当比例的冷兵器。到90年代初，淮军又开始了以连发枪取代单发枪的再次更新，在晚清，淮军始终以其装备最新最好而位居各军之首。
淮军是按照曾国藩湘军模式一手编练起来，在其衣钵传人李鸿章的统帅下，通过镇压太平军，与列强侵华工具常胜军既勾结又争夺，直至最终取代常胜军，成为能够凭他调遣的另一支武装力量，可以说基本上实现了曾国藩“两条腿走路”的战略意图。
后来，在湘军攻陷天京之后，长期浮沉宦海的曾国藩，鉴于“自古握兵柄而兼窃利权者无一不凶于国而害于家”的惨痛教训，决定裁湘留淮时，尽管曾、李之间也有矛盾和分歧，但淮军仍成为“以济湘勇之穷”的一支后备力量。曾、李能够在晚清急剧动荡的社会中站稳脚跟，完全靠的是有一支听命于己的军队。
