八月，张瑾的六万唐军在太谷全军覆没，温彦博被颉利捉拿后押往铁山（今内蒙古自治区白云鄂博），张瑾单骑逃脱，投往刚到潞州（今山西省长治）的李靖军中，吓得面无人色。张瑾劝李靖赶紧退兵。李靖却认为如果潞州失守，突厥人就要过黄河、占洛阳，危及大唐，所以决不能退！况且，李靖认定颉利大军洗劫北方数州且杀了六万唐军，每个突厥人随身携带的财物过重，不利轻装前进，是决战的有利条件。
当时突厥虎狼之师号称十万，而且全都是骑兵，正潮水般卷来。李靖毫不畏惧，用一万人在潞州城下摆了“六花阵”。六花阵是李靖的创举，善于变化，由八卦阵演变而来，状似雪花，故名“六花阵”。此阵首尾呼应，马步兵结合紧密，如铁桶一般。颉利远远在马上看见，不以为然，派骑兵冲阵，结果被李靖先以强弩射翻，再出动骑兵剿杀。由于突厥兵士载物过多，连续几次冲击都未能破阵。李靖在对颉利喊话时，声称李勣的山东大军马上就到，李世民的军队正在抄他们的后路。颉利在数度冲阵伤亡惨重的情况下不知虚实，最后无奈退兵。李靖以伤亡两千余人的代价，击杀敌军二万五千余人，得健马万余、财物不计其数，大获全胜，打破了突厥人战无不胜的神话。
在长安的李渊一开始闻听六万大军全军覆没，吓得腿都软了；随后又接到李靖的战报，这才稳定心神，认为李靖才是突厥人的克星，命李靖率军西进以防突厥。此后，北方时有战事，诸将多败，只有李靖不败。
颉利回草原后，深知败给李靖是由于兵士负重过多的缘故，于是在第二年春天挑选了五万精兵，从灵州（今宁夏回族自治区灵武）硖石（青铜峡）出击。李靖将兵一万在硖石设伏，利用水、陆奇险地形与颉利展开殊死搏杀。如果说潞州城下李靖占了轻装和阵形之利，但这次是真刀真枪的战争，一万人从早战到晚，无人退缩一步，硬是将颉利五万人击败。当然，李靖军队也损伤过半。
从这两场战争可以看出，李靖用兵贵在精而不在多。李靖练兵，挑兵极严，要求臂力、耐力、骑术都要超强。普通唐军能射八十到一百步，突厥人能射一百到一百二十步，李靖要求部下射到一百二十到一百五十步。所以论单兵能力，整个大唐只有李靖的军队胜过突厥人。
灵州之战，大大提振了唐军士气，李渊这时早就不把李靖当外人了，对以前那些嫌隙也不计较了，任命李靖为灵州大都督并节度北方诸州兵马，包括驻守灵州的任城王李道宗（亦是李渊之侄）的兵马。此时的李靖，可以说是大唐最有兵权的大将，因此李建成和李世民都竭力拉拢他。但正如前文所述，李靖坚持了大公，不以个人恩义站队。
在玄武门之变前，李勣为并州都督（相当于山西省省委书记兼省军区司令）。魏徵来游说他时，他拿不定主意，连夜骑快马来找李靖问计。此时二李的关系已经很深，况且李靖此时是李勣的上司，李勣是听他的话的。李靖没有过多解释，只告诉他一条原则：在外领兵的大将如果参与朝中党争，就开了驻外将领提兵逼宫的先例，不仅对朝局不利，也会给后世造成极坏的影响。外派将领的职责是保家卫国，朝中的夺嫡之争是皇家私事，外臣不得干政。李勣得了实话后，按兵不动。
玄武门之变后，颉利探知李靖在灵州驻军，便绕过李靖的大军，联合突利小可汗起兵直插长安，欲图一举灭了唐朝。李靖探知颉利突袭后，违反朝廷军制起五万灵州军星夜驰往关中救援，试图截断颉利归路。然而实际上，李靖深知此战是打不赢的，于是派快骑飞报李世民，请他倾尽府库钱粮退敌。这一方略与房玄龄、杜如晦的意见一致，李世民最终采纳，于是有了渭水之盟。颉利退军，至少有三分是忌惮李靖大军抄他后路。对唐朝将领，颉利唯一尊敬和视为敌手的就是李靖，因为李靖与突厥人战斗更多的是用力而非用谋。
但对待李世民这位老板，李靖必须用谋。现在的李世民与当年的秦王完全是两个人。经历了腥风血雨和残酷战争，李世民变得复杂。虽然李靖及时出兵入关威胁到颉利才有了渭水之盟，按理是有功的，但李世民在政治斗争中整害怕了：如果外派大将没有皇帝的诏令而私自起兵，这个国家将处于动乱之中。结合李靖不参与他与李建成的争斗，李世民对这位他一直尊重的长者产生了微妙的猜忌。
李靖何等精明！自然猜中了老板的心思。他回到长安后，主动交出了兵权。李世民会意，让他转任刑部尚书，参与新朝的律法修订以及案件核查工作。
去除了李世民的疑心，李靖继而找李世民深谈，第一个建议就是请李世民下诏追封前太子、齐王，以国礼葬之。李世民大怒，直指李靖多管闲事，说如果李建成、李元吉获胜，你还会这样建议吗？李靖说当然会这样建议。追封前太子和齐王，一来对退位的太上皇有情感上的安慰，二来前太子、齐王遍布天下的党徒才会心安，三来天下百姓会认为陛下英明。李世民在情感上深恨大哥、四弟，但转念一想，李靖的建议的确是收拢人心之举，就同意了。
李靖的第二个建议是精兵简政，主要是两条：一是合并天下州县以减少官吏，削减财政开支以应对国库空虚的现状，同时加强中央集权管理。二是加强中央对地方军府的领导，依照山川地势，将全国分为十道，即关内、河南、河东、河北、山南、陇右、淮南、江南、剑南、岭南，每道置军府总管，统领辖区军府，在管理上实行双重节制，即把十二卫（以前为十六卫）与十道交叉管辖：凡调兵十人以上，须由各道总管与卫府大将军共同勘合，报兵部核准，以皇帝颁发的鱼符为凭；重大征战，还须由皇帝亲自下诏。此外，为防十二卫与十道日久结党，军府和卫府轮番宿卫京师，为期一年。兵部职责，在于负责武官检核任免，提供粮草甲仗，协调军、卫两府拱卫京师。若四方有事，则调集各道军府和十二卫军马，任命将帅出征，战事结束后即行罢免，使兵散于府、将归于朝。
李世民大为赞赏。这样一来，最担心的军府管理问题迎刃而解。他认真地看着面前这位长者，那布满风霜的脸上是沉静与坚定。李世民知道，这些建议都是经过李靖深思熟虑的，丝毫没有私心。
老板当然最信任无私的下属。
于是，李世民问及怎么应对突厥的事。李靖说目前来看，大唐兵力还是不能与突厥决战，但也不是没有办法。李世民听出了弦外之音，赶紧执以师礼求教。李靖道出了答案：若是全面与突厥决战肯定不行，但可以以迅雷不及掩耳之势攻击突厥建牙之地定襄，然后分兵把突厥汗国斩成数段。
具体的做法是，在全国军府中秘密挑选精壮之士，寻一个秘密所在训习，实际上相当于今天的特种作战部队。这支部队只需三千人即可，人人均练得一身好武艺。此外，还要在兵器、马匹上下功夫，找能工巧匠打造能克制突厥人弯刀的唐刀和比突厥人射得更远更准的弓箭，通过商业途径购买西域名马，练成无敌天下的轻骑兵。待时机成熟时，从朔州出兵直击颉利老巢，实施斩首行动，再以大军清剿，可获全胜。
李世民十分激动，当即命李靖暗地里搜罗精兵、良马、能工，在蓟州盘山（今天津市蓟县）秘密练兵。李靖领命，找到了精于马战的刘黑闼旧将苏定方并收为徒弟，负责操练军马。三年后（贞观三年，即公元629年）冬天，李靖练成精锐之师。李世民为李靖担任北伐总指挥扫清道路，任命他为兵部尚书、检校中书令、关内道行军大总管（主要节制关中军和十二卫）。
到了这个时候，攻打突厥的事不能只停留在设想上了，而要落实具体的步骤和人。李靖认为，应从营、幽、云、朔、华、灵六州分道出兵，以朔州、云州军马为主，主要将领和路线为：
一是并州都督李勣为通漠道行军总管，代州都督张公谨、利州刺史高甑生为副总管，率唐军主力五万人出云中、进白道（今呼和浩特市西北武川），清剿突厥主力；
二是左卫大将军、华州刺史柴绍为金河道行军总管，左武卫大将军秦琼为副总管，率军两万沿黄河进至金河河谷（今内蒙古自治区托克托），与主力汇合后攻占白道；
三是礼部尚书、任城王李道宗为大同道行军总管，检校甘州（今甘肃省张掖）都督张宝相为副总管，率军两万挺进西北，防止突厥人投向吐谷浑；
四是检校幽州（今北京市）都督卫孝杰为恒安道行军总管，右武卫大将军程知节为副总管，率军两万出燕云，防止突厥军队东窜；
五是灵州都督薛万彻为畅武道行军总管，左骁卫大将军段志玄为副总管，率军两万直插突厥北部。
五路军马都齐了，李世民问：谁可担任直击定襄颉利老巢的方面军将领？李靖拍了拍自己的胸脯。李世民摇摇头，认为他是北伐统帅，宜节度诸军，不可以身试险。李靖坚持。最后，第六路军马形成：李靖亲领代州道行军总管，尉迟恭、苏定方为副总管，由李靖亲率三千精骑突袭定襄，尉迟恭率一万人随后策应。
贞观三年（公元629年）冬天，李世民下了命令，任命李靖为北伐大元帅，李勣为副元帅，节度六路人马（共十四万三千人）进攻突厥；命房玄龄、长孙无忌总督后方，提供军械粮草，北方各州府官吏全力支援。朝廷派出八百斥候（相当于现今的侦察兵+通信兵），打探消息、通报军情。
但是，李靖这次碰到的最大阻力不是颉利，而是麾下的将领们。这次李靖帐下的大将，随便一个人都是一部传奇，唐史里多数人都有传，基本囊括了初唐的名将（除侯君集外，当时李靖的意图是让侯君集守卫京师），比之当年平定江南的七路总管，层次上升了。李勣、李道宗、苏定方、张宝相等人视李靖为师，倒也没问题，然而尉迟恭、秦叔宝、程咬金、柴绍、张公谨、薛万彻、段志玄、卫孝杰、高甑生等将，要么是跟着李世民出生入死过来的，要么是开国元勋，资历很老，现在不是十二卫大将军就是州府都督，级别都很高。
大战前夕，诸将在朔州召开军事会议。由于李靖还没到，由副帅李勣主持。李勣的动员讲话刚刚开篇，众将就开始起哄。有的质疑这次战争的部署，认为只要集中兵力攻打定襄即可，何必将本来在数量上不占优势的唐军分散？有的认为李勣没有资格当副帅，应该由大家推举再报圣上；有的则认为主帅分派任务不公，把容易立功的地段分给了亲近的人，有挑肥拣瘦之嫌。顿时，整个帅帐七嘴八舌，挑头的尉迟恭和高甑生口出狂言，尉迟恭甚至还拿出李世民赐给他的铁券（免死牌）来威胁李勣。
李勣这时才深感当年李靖把各路军马捏在一起是多么不易！但他没办法，因为这些人都有来头，谁都不好惹。正在这时，李靖寒着脸捧着“尚方宝剑”入帐，先收了刺儿头尉迟恭的铁券，再搬出当年与李世民在马邑知遇的故事。众人这才面面相觑，都不扯跟皇帝的关系了。接着，李靖动情晓理，说出了此战关系到大唐国运，如果武将们不争气、不团结，文臣们会排挤他们，大伙应该顾全大局，为国家和百姓建功立业，让自己的名字照亮历史，否则会遭后人耻笑。一席话说得众将无不惭愧，都表示誓死追随大将军。
最后，李靖说出了此次战役的部署并非厚此薄彼，而是肢解突厥，每一个方面都必不可少，否则难以平定万里之遥的突厥汗国。而由他自己亲率三千精锐突袭定襄，是因为这三千人经过三年的日夜相处，别人无法节制。再者，定襄是颉利牙帐所在地，布防森严，突厥精锐尽在此地，十分危险，若是不能击溃十倍之敌，北伐局面打不开，弄不好还将全军覆没。众将皆知突厥人的厉害，听李靖从用兵角度深入讲解后，都敬佩李靖的勇气，发誓密切配合，同心协力为国家建功。
