赵匡胤在开封坐上龙椅之后，实际上也就是控制着京城一带。后周沿袭唐朝的旧制，任命了许多节度使，他们都拥有重兵和自己的税收，在地方上具有很强的实力。这些节度使和赵匡胤一样，都是武将出身。在赵匡胤称帝之前，他们之间称兄道道弟，有的甚至还是赵的前辈。而赵登基之后，情况就大不相同了，这其中不免会有些人心生不服。
对于这些节度使的情况，赵匡胤心里当然清楚。为此，赵匡胤特意将他们召来，一人一匹快马，并佩戴了弓箭，皇帝本人也不带随从，一行人来至郊外一处树林，坐下喝酒。赵匡胤站起来，从容地说：“现在此地没有别人，如果你们中有谁想做皇帝就可以杀了我。”这些人吓得匍匐在地，赵匡胤连问了几次，都无人敢应声。赵匡胤于是喝道：“既然你们拥戴我做了皇帝，那以后就要恪守臣节，谁要再敢骄横，定当不饶。”赵匡胤恩威并施，终于收服了这些人。
不过，地方节度使中也有个别不听话的，比如潞州节度使李筠，他出生于太原，年轻时勇健有力，擅长骑射，后唐时应募为禁卫军，由于作战勇猛，不断得到提升。后汉时李筠已升为博州刺史。郭威发动兵变，以周代汉时，李筠和赵匡胤一样，积极拥立郭威，成为开国功臣。周世宗柴荣即位后，李筠自恃其盘踞上党（今山西长治地区），辖有山西大片土地，居太行之脊，锁河北河南之安危，经常截留中央赋税，并大肆招纳亡命之徒于帐下。世宗念他是前先帝旧臣，倍加忍让。
赵匡胤即位后就派使臣前往拉拢李筠，并许他加官进爵。但李筠并不领情，当时就要抗诏不从，在部下的苦劝之下，才勉强下跪接诏。当晚设宴款待朝廷使节，李筠突然命人捧上周世宗的画像，当着宋使的面拜倒在像前，痛哭流涕。
北汉国主刘钧听说李筠对宋心存异志，就派人送信，约他起兵反宋。此时，图谋反宋的淮南节度使李重进也派了亲信翟守珣北上，找李筠商谈共同向宋进军的事宜。李重进没有想到翟守珣是个深明大局的人，翟希望国家统一，人民能够安居乐业，于是在途经开封时，他向赵匡胤告密。为了避免两面受敌，赵匡胤随即派翟守绚回扬州，劝说李重进“养威持重”，不要轻易刀戈相向。
960年四月，李筠在潞州（今山西长治）树起了反宋旗帜。他发布宣战檄文，数说赵匡胤篡周的罪状，句句都戳到了赵匡胤的痛处。赵匡胤知道，如果不能平定李筠的反抗，那后周的地方势力对新建立的宋王朝就不可能真心悦服。他决定亲率大军出战，尽快消灭李筠势力。
李筠派使者到北汉，表示愿意纳款称臣，请求其派兵援助。北汉王刘钧见到书信，亲自率兵南下，至太平驿（今长治西北）与李筠相会。哪知李筠见到刘钧仪卫寡弱，没有帝王气象，心中就十分懊悔。他虽然以臣礼拜见汉主，却口口声声称决不负周氏旧恩。刘钧与周世宗之间是有世仇的，见李筠这样的表态，心里自然是非常不痛快。这两人互相猜疑，两支军队也就不能协同作战了。
李筠自以为是周朝的老将，京师禁军又多是他的同僚或部下，心想所到之处，宋将必将倒戈相迎。实际却远不是那么回事。
五月初五，赵匡胤在长平大破李筠军队，斩首三千，首战告捷。为防李筠败退至泽州（今山西晋城），赵匡胤亲率大军向前推进。太行山地区路窄石多，不便大军行动，赵匡胤以身作则，边走边将道路上的石头放在马背以搬运开，众将士自然也不敢怠慢，只用一天的时间就开拓出一条大路。宋军进展神速，在在泽州南大败李筠3万多人。同时，宋军又在激战中消灭了北汉的数千名援兵，斩监军使卢赞，擒河阳节度使范守图。李筠率领残军退至泽州，宋军紧追不舍。为一举拿下泽州，赵匡胤组织了敢死队强行登城，泽州城破，李筠投火自焚而死。接着，赵匡胤又攻下潞州（今山西长治），李筠之子李守节投降。
拿下泽州后，赵匡胤接着任命石守信为扬州行营都部署，兼知扬州行府事，与王审琦一起讨伐淮南节度使李重进。赵匡胤乘舟顺汴河东下，在泗州（今安徽泗县）登陆，直抵扬州。此时，宋军石守信，王审琦等部已包围扬州，赵匡胤亲赴前线督战，一举将城攻破。李重进及家人在扬州城中自焚而死在平定了二李的叛乱之后，各路节度使不敢再轻举妄动，纷纷听从赵匡胤的调遣，宋王朝在原来后周的领土上稳定了局势。
虽然内部政局得到了平定，但是在宋的辖区外，北边有实力强盛的辽国和辽国控制下的北汉，南方有吴越、南唐、荆南、南汉、后蜀等割据政权。除去了境内的心腹之患，赵匡胤便把眼光投向了境外。实际上，他是要把周世宗统一中国的宏图大略继续进行下去。最初，他想首先收服北汉，但朝内的文武官员却不赞成，认为这样做会直接遭遇到强盛的辽国，这对于新建立的大宋王朝来说，有害无利。
在一个大雪纷飞的夜晚，赵匡胤突然走访赵普。在听了宋太祖说“欲收太原”的话后，赵普沉吟良久，然后说“如果先削平南方诸国，之后再攻北汉，到那时，区区弹丸之地，已尽在掌握中。”太祖听了非常高兴，这正是他这次夜访赵普所要的答案，于是一个先消灭南方各个割据势力，后消灭北汉的统一战争的战略方针就确定了，即所谓“先南后北”、“先易后难”的方略。
建隆三年（962年）九月，割据湖南的武平节度使周行逢病死，他年幼的儿子周保权继承权位，其下大将张文表盘据衡州（今湖南衡阳），乘机起兵造反，发兵攻占了潭州（今湖南长沙），企图取而代之。周保权一面率军抵挡，一面派人向宋求援，这就给宋太祖扫平荆湖提供了一个很好的出兵机会。
太祖调遣兵将以讨伐张文表的名义从襄阳（今湖北襄樊）出兵湖南。当时宋军挺进湖南，要经过荆南节度使高继冲割据的地方。北宋早就已经探明，这个高继冲只有3万军队，且国内政事昏乱。乾德元年（963年），宋军兵临江陵府，要求假道过境，高继冲束手无策，仓皇出城迎接。等他再次回到江陵城的时候，发现宋军已经布满了大街小巷，他只好捧出三州十七县的图籍，表示归顺宋朝。
此时，湖南军队已经打败了张文表的叛军。宋军却不管这个，继续向湖南进发，周保全这才意识到此次宋军其实是冲着自己来的，他赶忙组织军队固守于朗州城，但无奈大势已去，朗州很快城破，湖南全境落入宋军手中。周保权躲到澧水南岸的一个寺庙里，最终也被宋军渡江擒获。
乾德二年（964年）十月，宋太祖以后蜀主孟昶暗中与北汉勾结，企图夹击宋朝为借口，任命王全斌为统帅，率兵6万分两路向后蜀进军。一路由王全斌、崔彦进率领自剑门（今四川剑阁北）入蜀，一路由刘光义、曹彬率领从三峡入川。
此时的后蜀君臣还在“天府之国”肆意挥霍。国主孟昶宠幸花蕊夫人，不修军政，手下大臣更是不择手段地搜刮民脂民膏。蜀军士气低落，全无斗志。在宋军的凌厉攻势下，蜀军三战三败，成都很快就已在宋军的包围之下。乾德三年正月，孟昶出城向宋诫投降，后蜀灭亡。
在大军攻击后蜀之前，太祖就派人在汴水边造了五百间房，说这是专为蜀主一家预备的。蜀主一家被押到汴京以后，太祖果然安排他们在那五百间房的府第中住了下来。不过孟昶没在那儿住上几天，就不明不白地死去了，他的花蕊夫人就顺理成章地归了皇上。
消灭后蜀之后，宋军将下一个进攻的目标南对准了南汉。开宝三年（970年）十一月，宋太祖命潘美为统帅，大举攻南汉。南汉主刘鋹负隅顽抗，但南汉许多优秀的将领都已经被刘鋹残杀，掌握兵权的几个宦官根本不知如何打仗。南汉原有的大多数军事设施也都已经毁坏失修，无法用来阻挡宋军的进攻。潘美率领宋军很快就攻陷了贺、昭、杜、连、韶等五州，大败南汉军10余万于莲花峰下。至次年二月，进抵广州，最后，刘鋹也只能像后蜀主那样走出都城向宋军投降，南汉宣告灭亡。
