宋太宗也是一位比较有作为的皇帝，他继承皇位以后，决心将宋太祖的统一全国的未竟事业继续进行下去。
消灭南唐以后，南方割据势力只剩下了吴越，已不足为患。而且吴越对宋朝一直顺从听命，当宋朝出兵灭南唐时，宋太祖要求吴越国主钱俶出五万兵夹攻南唐，钱俶果然照办。南唐灭亡后，钱俶曾到开封朝拜，受到宋太祖盛情接待。当时有许多大臣劝太祖扣留钱俶，但宋太祖考虑到南唐虽然国灭，有的地方却还有不少人在据城反抗，需要一段时间巩固在江南地区的统治，担心在这个时候扣留钱俶会引发吴越地区的反杭，就没有批准。不仅如此，宋太祖还把群臣主张扣留钱俶的奏疏都交给钱椒，使钱淑既俱怕，又感激不尽。事隔三年，形势不同了，宋朝已牢固确立了在江南的统治，宋朝消灭吴越的时机也成熟了。所以，这次钱椒带了大批宝物到开封朝贡，时间到了太平兴国三年（978年），这是宋太宗即位的第三年，此时的情形已与从前大不相同，宋室已经稳定了在江南的统治，消灭吴越的时间也成熟了。这一年三月，吴越国王钱椒带了大批财物到开封朝见太宗。宋太宗在收下贡物后，就不再理会钱俶了，既不说让他回吴越，也不明说是要扣留他。钱椒没有办法，主动要求除去吴越国王的封号和其他优待，只求能够返回吴越，太宗仍然不许。身处宋朝都城钱俶意识到，如果在这个时候还不向宋朝交出自己的国家，恐怕性命也难以保全了，只好就上表把自己割据的十三州八十六县都交给宋朝。宋太宗点头准许，并对钱俶等人进行封赏，把钱淑的近亲和吴越的官吏全都迁到汁京。南方的割据势力至此被太宗完全削平了。
接着，宋太宗开始积极准备消灭北汉。
北汉以太原为中心，统辖并、汾、忻、代、岚、宪、隆、蔚、沁、辽、麟、石等12州，经济发展与南方各国相比比较贫弱。同时，北汉国主为了不被宋朝消灭，每年都要向辽国供奉大量的财物，以换取支持。
在赵匡胤“先南后北”的统一方略中，北汉排在南方割据势力的后面。太祖即位后曾派使者出使北汉，对北汉主刘承钧说：“你们与周世代为仇，而我和你们就没有这些宿怨，如果你想有志向要争夺天下，那是不是请你下太行与我一决胜负。”刘承钧却对使者说：“河东土地士兵都不足中原的十分之一，我只想保住祖宗留下来的这一方水土，无意与人争胜负。”于是，宋太祖知道北汉君臣并没有什么大的抱负。
虽然如此，北汉的军事实力仍然不容小视。
北宋开宝元年（968年），北汉主刘承钧死，因为膝下无子，朝中发生了内乱，他的养子刘继元因为得到大将郭无为的支持而登上皇位。宋太祖认为这是进攻北汉的绝好机会，于是发兵进逼。刘继元一面安排军队迎战，一面派人请辽出兵支援。他派枢密使马峰与侍卫都虞侯刘继业、马进珂领军南下，守住南面门户团柏谷。马峰的军队与宋军相遇后，被宋军打得大败。宋军乘胜夺取汾河桥，一路追杀到太原城下。太祖本以为胜利已在眼前，不曾想太原城池坚固，宋军攻了很长时间都没能拿下。此时，辽国的援军大举南下，宋军抵挡不住，只能撤围。
太祖攻克北汉的决心并没有因这一次的失利而动摇，第二年春天，他御驾亲征，首先命将调集军需入山西，然后命大将曹彬、党进领兵为前军直趋太原。太祖也亲临前线，下令征发当地民夫在城外修筑长连城，做长期围攻太原的准备。后来又接受谋士的建议，将汾河堵住，把晋水引到太原城下，浸泡太原城墙。就在南城墙几乎要被泡塌的时候，辽国援军又一次来到太原，这使得已将溃散的北汉将士又一次坚定了守城的决心。宋军久攻不下，多人患上了腹疾。没有办法，太祖只好下令班师回朝。宋军撤退时，太祖特意下令将太原周围民户一万多家迁到山东、河南，以此来削弱北汉的实力。
开宝九年（976年），宋太祖再次大举伐汉。宋军兵分五路，直扑太原，辽军也闻迅大举南下，眼看一场大战不可避免。但就在此时，宋太祖突然驾崩，太宗刚刚登上皇位，为了稳固自己的统治，在短期内不愿再打大仗，下令将进攻北汉的宋军撤回。
太宗此举并不表示他已放弃消灭北汉的计划，只是改变了策略，从外交和军事两个方面为将来攻灭北汉做准备。太宗在即位的第二个月就派使臣前往辽国，对辽做出和平友好的姿态。到太平兴国三年，他先后派遣出售辽国的使臣竟然有六批之多。对于辽朝来宋的使臣，宋朝也盛情款待。太宗以此使辽国放松对宋朝的警惕。与此同时，太宗加紧精选将士进行军事训练，亲自检阅禁军的演习，厚奖训练有方的将官，还加紧在临近后汉的各州修造兵器和攻城器械。
太平兴国四年（979年），太宗觉着准备得差不多了，开始兴兵讨伐北汉。太宗吸收以往多次失利的教训，一开始就制定了周密的作战方案。太宗先命潘美统四路大军围攻太原，同时命郭进领精兵进驻石岭关，以阻击辽兵。三月，辽数万骑兵南下到石岭关南涧，郭进预先部好了阵，等辽军过河到半路的时候，宋军突然杀出，杀得辽军措手不及，在死伤一万多人之后，辽军被迫退回。这样太原就已成了瓮中之鳖。
四月，宋太宗亲临太原城下，依照太祖的方法修筑长连城将太原城围困起来，并在城西修筑了一座土山，用来观察城内的动静。宋太宗先写了一封劝降书投到城中，后汉君臣并不接受。于是太宗亲自督战，命宋军从四面猛攻城池。由于北汉早有准备，宋军靠近城边，城上滚木擂石铺天盖地地砸下，宋军伤亡惨重。到五月，北汉官兵已渐渐支持不住，宣徽使范超、马步军都指挥使郭万超先后降宋，北汉朝廷开始瓦解。宋太宗亲自拟定诏书劝后汉国主投降，刘继元无奈，只好出城俯伏在连城台下向太宗请罪。自此，“五代十国”中最后一个分裂的小王朝消灭了。
北汉虽然已经灭亡，但太宗对太原的坚固的城池仍然耿耿于怀，他下令全城的居民迁往汾水东的新城，并将新设立的并州府迁到榆次。居民出城后，宋太宗下令在城内放火，整个太原城在一天之内就全部被焚毁。第二年四月，太宗又命将晋水灌入太原，经此火烧、水灌，太原城彻底变为废墟。
平灭北汉后，宋太宗将军队调到了河北地区，想一鼓作气收复燕云，但他这一次低估了辽国的力量。有宋军将领说战争刚结束，应该给军队一个休整准备的时间，而且现在粮草非常匮乏，不能支持长久作战，建议太宗做了充分准备之后再攻打辽国。但宋太宗觉得辽刚刚吃了败仗，士气低落，应该乘胜追击，扩大战果。对辽的战争在刚开始时还很顺利，易州刺史主动献城投降，宋军到达涿州后，同样是兵不血刃地取下了城池，宋军前锋直抵辽南京城（即幽州，今北京）。守卫南京的辽将耶律奚底和宋军在沙河初次交战，被宋军打败，退到了清河北面。宋军将南京包围起来，辽军则坚守不出，等待援军。
辽景宗见南京形势紧急，赶忙派名将耶律休哥领重兵相救。耶律休哥非常善于打仗，他将军队兵分两路，一路只有五千人，装做是辽军主力到南京城下引诱宋军交战，而主力骑兵三万则在夜里绕行南面，赶到了宋军的背后。双方在现在北京市西南的高粱河一带展开了激战，最终，腹背受敌的宋军惨败而退，宋太宗在慌乱中带着一队亲信逃出乱军阵，后面辽军紧追不舍。到涿州（今河北涿县）时，太宗大腿被射中两箭，龙旗御车、随从宫嫔等也都已被辽军掳掠，最后只好在当地百姓家弄了辆驴车，宋军主力吸引住辽兵，太宗一人驾驴车从小路逃回了京城。
幽州之战以宋军惨败而收场。此后，太宗形成了守内虚外的政策，来维持稳定。这次战役还给太宗留下了病根，他腿上所中的两处箭伤，每年都会发作，以至于成为他日后病死的主要原因。
