宋军灭蜀只用了六十六天。此战采用两路夹击的战略战术，取得了惊人的战果。“天府之国”并入中原后，使北宋的财力物力大大充实，为此后统一战争的持续进行奠定了物质基础。
宋太祖对北汉久有攻伐之意，只是因为北汉有契丹作后盾，取胜难度较大，朝臣也多不赞同，所以，迟迟难定大举攻伐北汉的决心。及至“先南后北”国策制定之后，宋太祖对北汉基本上采取以攻为守的策略，不时发起小规模军事行动，进行袭扰和牵制。乾德元年（公元963年）七月，宋既平定荆湖正谋伐蜀之际，派安国节度使王全斌与洛州防御使郭进、赵州刺史陈万迈、客省使曹彬等率兵攻打北汉边地，俘获而还。北汉因乞援于契丹，打算进行反击，王全斌等又攻打北汉乐平县，并攻克之。同年十二月，又遣曹彬等攻入北汉境内，攻取了辽石二州。
乾德二年（公元964年）正月，昭义节度使李继勋、兵马钤辖康延沼、马步军都军头尹勋等又率步骑万余人再攻辽州，与北汉马军都指挥使郝贵超大战于辽州城下，郝贵超大败，北汉向契丹告急，引契丹步骑六万来攻，李继勋和罗彦环、曹彬等领兵六万迎战，大败契丹和北汉兵。
宋太祖数次进袭北汉，并不完全在于攻取几座城池，而是以攻为守阻止北汉乘宋南伐之机举兵进犯，也可认为是保障“先南后北”战略实施的辅助行动。
由于宋军的频频袭扰，加之国力衰弱，北汉也无力深入北宋境内，这一段时间里，基本上采取守势。这正是宋太祖所希望看到的。为了使北汉不敢妄动，宋太祖还曾通过边界上的间谍对北汉主刘钧说：“君家与周氏为世仇，理应不屈。今我与尔无所间，何为困此一方之民也？若有志中国，宜下太行一决胜负！”
从表面上看来，宋太祖这番话像是在叫战，但实际上则是休兵罢战之约。其潜台词是：宋与北汉并无仇怨，还是相安无事为好。刘钧的回答也很温和而谦恭：“河东土地甲兵不足当中国之十一，区区守此，羞惧汉氏之不血食也。”刘钧既无意与宋决战，正中宋太祖下怀，于是，他笑着对前来传话的间谍说：“为我语刘钧，开尔一路以为生！”所以，终刘钧之世，宋太祖没有以大军北伐。
但是，当宋灭后蜀之后，这种态势却发生了变化。
开宝元年（公元963年）七月，北汉主刘钧病逝，养子继恩嗣位，政局不稳，此时，契丹主也因喜好畋猎，饮宴无休，滥施刑罚，大失人心，宋太祖感到机不可失，于是便改变了北守南攻之策，积极准备进攻北汉。他命令客省使卢怀忠等二十二人领兵屯驻潞州，命昭义节度使李继勋为河东行营前军都部署，打算分潞、晋两路进攻太原。
宋太祖在积极准备用兵北汉的同时大力进行间谍活动，企图溃敌腹心，乱而取之。
宋平后蜀后不久，宋太祖即先后派出了侯霸荣、惠磷两名间谍，打进了北汉内部。这侯霸荣是邢州人，身材魁梧，力大惊人，行走如飞，据说能够追得上奔马。他还精于射术，百步之内，箭无虚发。此人曾在并州和汾州一带为盗，北汉世祖刘崇得知，召为散指挥使，在乐平戍守。建隆三年（公元962年）八月，王全斌进乐平的时候，侯霸荣率部投降宋朝，补为内殿直。侯霸荣熟知北汉情况，宋太祖派其重返北汉，可谓任用得人。惠磷是宋廷一小吏，此人聪敏多谋，善于机变。他受宋太祖的指使，假称是殿前散指挥使，负罪逃奔北汉，被北汉任命为供奉官。这样，在宋太祖未举大兵之时，后汉宫廷便出现了宋朝间谍的踪影，隐蔽战场的斗争随即悄悄展开。
混入北汉朝廷内部当供奉官的侯霸荣因是降宋后复归北汉，所以在其供职过程中时常表现出一种赎罪的姿态。他抓住一切机会向北汉主忏悔自己前事的不忠，同时又巧妙而不生涩地进行解释和开脱：乐平一战，宋军兵多势众，实难与敌，降宋本出无奈。他还通过自己降宋后的短暂经历，讲述寄人篱下的卑贱和耻辱，百般诋毁北宋朝政，盛赞北汉主的圣明，不遗余力地表现自己对北汉的忠诚，这样，终于又获得了北汉主刘钧的好感，重新建立起他在北汉朝廷中的威信。
刘钧本名刘承钧，是世祖刘崇的次子，乾祐七年（公元954年）嗣位后改名刘钧，其在位时北汉更加衰落，因而不再像乃父刘崇那样幻想入主中原。当宋李筠作乱后，他曾应李筠之约与其配合共击宋军，因李筠很快被击败而引兵北还。其后，又得罪了他的“父皇帝”契丹主，“助李筠有所觊觎”竟成了他的三大罪状之一，受到契丹主的严辞责备。于是，“终以势力窘弱，忧愤成疾”，于天会十二年（公元968年）死去，时年43岁。
继承帝位的是刘钧的养子刘继恩，本姓薛，其母为世祖刘崇之女，生父是后晋护圣营士卒薛钊。后汉高祖主管禁军，因刘崇之故解除了薛钊的军籍，让他闲居在家，“衣食之而无所用”。其妻常居父母家，薛钊难得一见，故心中大不悦，乘醉拔剑刺之，妻伤而未死，薛钊随即自杀。其妻又改嫁何氏，生继元。世祖刘崇因孝和皇帝刘钧无子，就将继恩和继元收为刘钧养子，改姓刘。
刘继恩腹大而多须，身材上长下短，“乘马即魁梧，徒步即侏儒”。他对其养父刘钧很孝顺，“晨昏定省，礼无违者”。但是，刘钧却觉得他才能只及中人，难继大业。他曾对宰相郭无为说：“继恩纯孝，然非济世才，恐不能了我家事，将奈何？”郭无为以为然。不多日，刘钧病危，临终召郭无为嘱以后事，刘继恩开始监国。刘继恩杀死了刘钧的另一养子刘继忠，派使者向契丹“父皇帝”报告了刘钧的死讯并请求嗣位，契丹应允，刘继恩继任为北汉皇帝。
新登帝位的刘继恩“怨郭无为初与父言不助己”，且恶其专政，想将他逐出朝廷，并想杀死他，但因怯懦畏惧没有成功。从此，刘继恩对郭无为“外示优礼，内实疏远之也”。这种情况引起了北宋间谍侯霸荣的注意，便极力向郭无为靠拢。郭无为因受刘继恩猜忌并随时都有被逐、被杀的危险，很希望找到一个帮手，侯霸荣也是处心积虑地“谋持继恩首献太祖”，于是二人一拍即合，暗中策划了一场宫廷政变。
当时，刘继恩独居一室守丧，左右亲信都不跟在身边，有人便建议将郭无为召入宫中杀死他。刘继恩犹豫未决。有人又献计说，可在宫中设宴，召请大臣参加，趁机将郭无为杀死，刘继恩思忖多时，默然应允。
九月初十，刘继恩依计摆起“鸿门宴”，召诸大臣及亲子宴饮，并伏刀斧手于其侧，准备见机行动。但是，郭无为暗中得知了消息，没有赴宴，刘继恩的阴谋落了空。
刘继恩很失望。他在宴会上疑虑重重，郁郁不乐多饮了几杯酒，昏昏沉沉地被人搀至阁中，不多时便进入梦乡。
这天夜晚，天特别黑，秋风阵阵，秋雨潇潇。当刘继恩正在熟睡之时，侯霸荣突然率十余人挺刃入阁，并随手将门反扣。刘继恩闻声惊起，赶忙到屏风后躲避，侯霸荣向前紧逼，刘继恩绕屏风而走，终被侯霸荣刺死。刘继恩从继位到被杀才仅六十余天，此间多是守丧，甚至还未来得及建号改元。
北宋间谍侯霸荣得手了，他心中充满了喜悦。然而，正当他准备割下刘继恩的首级回宋朝报功的时候，忽听“嘭”的一声合上的窗子被打开了，随即有人手持利刃跳窗而入，大呼一声，冲上前来，侯霸荣猝不及防，还未看清来人的面目即被一刀刺死。
暂短的厮杀归于平静。窗外，风还在刮着，雨还在下着……
侯霸荣不会想到，把他置于死地的正是和他共同策划这场政变的郭无为。
这郭无为是安乐人，少博学，善辞辩，后为道士，隐居武当山。汉乾祐年间，周主郭威在河中征讨李守贞时，郭无为杖策谒于军门，郭威见他生得方额尖嘴，识多见广，谈吐不凡，又问以当世之务，回答颇有见地，郭威以为奇才，将其留于门下，欲引为谋士，为他出谋划策，但郭威身边的人却极力反对，说：“无为纵横家流，今公握重兵，不宜亲之。”郭无为得知，拂衣而去，隐归抱腹山。
郭无为重新出山是在宋建隆元年（公元960年）以后，先是，北汉主刘钧率兵援助李筠，将发太原，大臣赵华进谏说：“筠举动轻易，今起兵应之，未见其可。”刘钧怒而不顾，遂行。及李筠败亡，刘钧也狼狈而归，他记取了这次贸然发兵的教训，开始重用文学之士。他又担心宋朝的军队随时都可能来攻，“颇求有智谋者与之计事”。枢密使段恒认识郭无为，因向刘钧推荐，刘钧以谏议大夫召郭无为入宫，“与语大悦”，又任命郭无为为吏部侍郎，参议中书省事，和赵文度同执政事。但二人各持才高，互相瞧不起，刘钧乃将赵文度调任外官，以郭无为为左仆射、平章事兼枢密使，“机务一以委之”。从此，这位抱腹山人告别了深山寺庙，进入政界，成为北汉宫廷中的“道士宰相”。
在刘钧当政的时候，郭无为是颇受重用的。刘钧常将他引入卧内，与他商讨国事，临终时又“执其手，以后事付之”，足见信任之深。
但是，继立的刘继恩却和他的关系很紧张，其原因已如前述。加之，侯霸荣从中挑唆贿赂，终于使郭无为下决心除掉刘继恩，以保护自己的安全。
北汉宫廷中的这场政变是郭无为与侯霸荣共同策划的。还有—种说法是：“无为指使霸荣作乱”，让侯霸荣在前台充当刺客，郭无为在幕后组织指挥。
刺杀刘继恩的计划与杀机四伏的“鸿门宴”同时开始。事先，他们已将刺杀步骤安排得周密妥帖，对行动部署、人员调动力争做到万无一失，以致于当侯霸荣入阁刺杀刘继恩时竟无一名侍卫在侧。
十分有趣的是，在刺杀刘继恩的同时，刺杀刺客的计划也在进行着。侯霸荣破窗入阁后，郭无为也秘密派人在阁外竖起了梯子，准备好了杀手，侯霸荣刀血未拭，郭无为的杀手已登梯而入，结果了他的性命。真可谓“螳螂捕蝉，黄雀在后”。
郭无为这样做首先是出于保护自己的需要。这位武当山道士不愧是参悟禅关的，他既看重眼前的利益，又不想坏了未来的前程，他与侯霸荣暗中交结，密谋政变，是想假侯霸荣之手除掉刘继恩。刘继恩既死，侯霸荣便失去了使用值价，所以要“亟诛霸荣以灭口”，脱尽自己与这场政变的关系。此外，他也清楚地看到，宋军虽已出兵进伐北汉，但太原城并未出现混乱迹象，加之有契丹为后盾，北汉还未必能很快灭亡。在这种情况下，若持政变之功向宋廷邀赏讨封还欠稳妥。特别是刘继恩之弟刘继元还拥兵在手，随时都会扫平内难，这样，如果搅入政变之中，岂不是自找麻烦吗？
郭无为深感庆幸，这件事他办得非常高明，刘继恩死了，侯霸荣及其同党也都杀了个精光，朝野上下无人知道底细，郭无为不仅安然无恙，还成了诛杀叛逆的功臣。
紧接着，郭无为又不顾宰相张昭敏的反对，坚持立颇通禅学、好与僧人往来的刘继元为帝，这样，郭无为又摇身一变，成为新皇帝刘继元近臣。
北汉发生的这场宫廷政变自始至终受到了宋太祖的关注。当初派侯霸荣入北汉，其重要使命便是搅敌腹心，里应外合。宋太祖认定，这是一招绝妙的好棋。
侯霸荣完成了他的使命，但郭无为亟诛侯霸荣并扶立新主又使这次政变的成果迅速化为乌有。宋太祖的精心安排被打乱了，只好急攻太原，向北汉施加军事压力，试图乘乱攻取之。
北宋李继勋的军队是在刘继元当皇帝的几天内进入北汉境内并挺进太原的。刘继元虽仪表堂堂，又善于言谈，但对统兵作战却不甚通晓。当侍者将北宋大兵压境的消息向他报告之后，刘继元只有一条“妙计”，那就是：急遣使者上表契丹，请求“父皇帝”发兵援助。他把契丹出兵当作惟一的依靠，如同儿子有难求助于父亲。
这多年来，北汉父事契丹毕恭毕敬，极尽忠孝。北汉的创立者刘崇事无大小，不敢自决，总得禀告契丹主。刘钧稍稍有些疏略，竟遭契丹遣使持书来责，说他“不遵先志”，有违“父子之道”，严令他“率德改行，无自贻伊戚”。刘钧吓得非同小可，两次遣使携重金前往谢罪，契丹都未理睬，还扣留了使者。北汉土地狭小，出产很少，又要每年送财物给契丹，财政开支越来越困难，就任用善于经商营利的五台山和尚刘继颙做鸿胪卿。五台山与契丹临界，刘继颙常将得到的契丹马匹献给北汉，叫做“添都马”。刘继颐则在相谷地方募民开矿炼取白银。北汉主每年要向契丹纳贡白银千斤，还在此地建立了一支军队，名曰“宝兴军”，专门保障冶银和贡银。正是因为北汉主奴颜婢膝地向契丹孝敬了大量金钱，契丹才将北汉置于自己的卵翼之下，充当了北汉的保护伞，每有所求，必出兵相助。
这一次，刘继元的求救同样得到了契丹的应允。契丹主要刘继元阻止宋军的挺进，援兵随后到达。
契丹的慷慨出兵使刘继元吃了一颗定心丸。他遵照契丹主的旨令，派出一支由侍卫都虞候刘继业、冯进珂率领的队伍扼守团柏谷，以将作监马峰为枢密使，监其军。马峰是太原人，其妻是刘继元的女儿。继业原名重贵，姓杨，自幼侍奉世祖刘崇，被收为养子，因而改赐姓名。此人就是足智多谋、骁勇善战、鼎鼎大名的杨业，他在北汉亡后降宋，改名为杨业。杨家将的故事便是由杨业及其后代的事迹演化而来。
北汉马峰的队伍是到了洞过河以后和李继勋宋军相遇的。此时，宋军的先锋是何继筠，双方交战以后，马峰被打败，损失了2000多人，500匹战马被宋军俘获。宋军还擒获了北汉将领张环和石斌，夺占了汾河桥，进迫太原城下，焚烧了太原城门延夏门。
宋军的初战告捷使北汉主刘继元慌了手脚，又派殿直都知郭守斌率领内直兵出战，又遭惨败，郭守斌被流矢射中，退回城中。
宋军的捷报传至开封，宋太祖大喜。他盲目地认为，北汉灭亡在即，太原城头将很快飘扬起宋军的战旗。于是，他派使者带诏书至太原，展开了强大的政治攻势。
与这封诏书同时下达的还有四十余道封官许愿的诏书，许诺任命郭无为为安国节度使，马峰以下都任命为节度使。
宋太祖在令人草拟这些诏书的时候并非完全出于虚妄。他对北汉君臣的情况逐一进行了解，对宋廷官职的空位也进行了摸底，尔后，又反复斟酌北汉君臣的重新任职怎样才能恰如其分。他思索得很认真，仿佛北汉君臣马上就会前来投降，成为他大宋朝廷新的成员。
诏书首先送到北汉宰相郭无为手中。郭无为看后动了心，暗忖：宋军势难抵挡，契丹援兵未至，莫如劝主降宋，到宋朝安安稳稳地当个节度使。他也担心刺杀刘继恩之事早晚会被人窥知秘密，与其日后被清算，莫如尽快降宋。这样想着，郭无为只把给刘继元的诏书交了上去，其余的都藏了起来。他有他的主意：且观风云之变，见机行事。
宋军李继勋对太原的进攻越来越紧了。郭无为见形势不妙，就劝说刘继元投降，但刘继元坚信契丹兵一定会来援助，固执地不肯投降。郭无为无奈，只得再待机会。
这天，郭无为正在衙署闷坐，忽有小吏来报，他们在岚谷捉到了一个宋军的间谍，已解送太原。郭无为令人将间谍带上来，一看，原来是供奉官惠磷！郭无为早就知道他是间谍，惠磷当供奉官就是郭无为安排的，将惠磷治罪岂不是引火烧身吗？他对那小吏说，这间谍由他处理，不可声张。随后，郭无为即将惠磷释放，没有问罪。
惠磷是在宋军进入北汉境内以后逃出汉廷的。他认为北汉将亡，故急于归宋。意想不到的是，惠磷刚走到岚谷即被捉住，多亏送到了郭无为这里，否则注定性命难保。
但是，没有不透风的墙。有一招收将名李超，曾在上党做过厩卒，知道惠磷底细，就告知监军马峰请求将惠磷治罪。郭无为得知大怒，将惠磷和李超一齐杀死以灭口。
这样，身在北汉心在宋的郭无为又一次地躲过了风险，宰相的位置仍稳固如初。他期待着宋军早日杀进太原，期待着北汉的尽快灭亡。
但是，北宋的军队初获小胜之后并不顺利。开宝元年（公元968年）十一月，契丹的援兵气势汹汹地杀将过来，围攻太原的李继勋军腹背受敌，不敢久战，匆匆退兵，北汉军则乘势反攻，宋军自八月以来所占领的州县不仅全部丧失，还被北汉军打进晋、绛二州，大掠而去。
宋太祖对北汉的第一次进攻就这样得不偿失地收了场。此战的失败在于轻敌冒进，过于看重了与郭无为等里应外合的作用。郭无为呢，尽管机警地躲过了风险，保住了自己，终因大志难申，抱憾不已。
宋太祖赵匡胤满脸不悦地闷坐崇德殿中。他万万没有想到，用兵北汉的结果会是这样。他想不通，泱泱大国北宋难道连小小的北汉也奈何不得？他又想起五代以来，北汉投靠契丹，助纣为虐，屡犯边地，抢掠边民的往事，心中更是怒火升腾。他发誓要再征北汉，洗雪损兵失地的耻辱。
天宝二年（公元969年）正月，宋太祖遣殿中侍御史李莹等分往诸州，调发军储赴太原，以备诸军进攻太原时补给之用。紧接着，又派出49名使者调发各道兵马，屯驻在晋、潞等州。
正月初八，命宣徽南院使曹彬、侍卫步军都指挥使党进等各领兵先赴太原。正月十一，下诏亲征。遂以皇弟开封府尹赵光义为东京留守，枢密副使沈义伦为大内部署，昭义节度使李继勋为河东行营前军都部署，建雄节度使赵赞为马步军都虞候，先赴太原。
正月十七，宋太祖的车驾从开封出发了。这次御驾亲征，宋太祖在很大程度上是出于一时激怒，愤而发兵。其声势之大、动用兵力之多是此前历次征讨难以比拟的，大有一举灭亡北汉之势。
正月二十，军次王桥顿，彭德节度使韩重赟来见。他来得正是时候。宋太祖考虑到，此次北征，契丹必定再次驰援北汉，必须进行阻截，以保障主攻太原的顺利。他对韩重赟说：“契丹必以为镇州、定州无备，由此路进入，卿可为朕倍道兼行，出其不意而破之。”宋太祖以韩重赟为北面都部署，义武节度使祁廷义为副。韩重赟应诺，领命而去。
正月二十八，宋太祖驻跸潞州，各州运来的军粮都在此集中，通往潞州的路上塞满了一辆辆运粮草的车子，宋太祖以为是无故稽留，准备将转运使治罪。随驾出征的宰相赵普劝阻道：“大军方至而将转运使治罪，敌人闻之，必以为我军备不足，臣以为此非威服远方之道，只需另择精明强干之人将其接替也就是了。”宋太祖以为然，另任户部员外郎王祐权知潞州之事。这王祐权果不负厚望，他亲临现场组织遣送疏散车辆，道路堵塞现象迅速得到缓解。宋太祖又任命枢密直学士赵逢为随驾转运使，并铸印给他，以示重用。
此时，北汉侍卫都虞候刘继业、冯进珂正屯驻在团柏谷，汉军派出衙队指挥使陈廷山领骑兵数百侦察宋军情况，恰好与北宋李继勋的前头部队相遇，陈廷山见宋军势盛，未战而降。刘继业、冯进珂知众寡不敌，也领兵奔还晋阳。北汉主刘继元怒其畏敌怯战，收夺了他们的兵权，北宋李继勋遂大举进击，将太原城团团包围。
太原城的形势陡然紧张起来。刘继元的心绪坏到了极点，他一改谈禅读经、温文尔雅的风度，变得暴戾无常。刘钧的皇后郭氏本是继元兄弟的养母，但刘继元怀疑他的妻子段氏之死与郭氏有关，于是便派人勒死了郭氏，刘崇的十几个儿子及一些近亲子孙几乎都被他杀光，连宫中的嫔妃也不时遭到杀戮。
就在刘继元大开杀戒以泄愤怒之时，忽有侍者来报：契丹派人前来宣布册命。刘继元听罢，遂转怒为喜，在夜间开北门将使者迎进城来。
这位契丹使者叫韩知瑶，是前来宣布册命刘继元为皇帝的。北汉自立国以来，皇帝都要由契丹册命，北汉完全成了契丹的附庸，但北汉主却不以为耻，反以为荣，刘继元也不例外。他媚态十足地接待了契丹使者，跪地接受了契丹的册命。第二天，又大陈筵宴，欢迎契丹使者的到来，并庆贺自己正式登上帝位。北汉的大臣们都参加了宴会，重兵包围下的北汉宫廷又响起了喜庆的欢笑声。
席间，忽听院中有人在哭，刘继元命侍者出去一看，原来是宰相郭无为。郭无为一边哭着，一边拔出佩刀要自杀，说：“今日以空城抗大军，计将安出？”北汉主赶紧下殿阶拉住他，引其入座。
郭无为演出的这一幕，是“欲以动摇军心也”，但是，刘继元却不为所动，闭口不谈投降之事。刘继元之所以如此固执是因为对契丹抱有幻想，加之又新被册命为帝，不甘心就这样让出宝座，俯首向宋称臣。第二天，刘继元又派使者前往契丹请求援兵，并加强了对太原城的防守。
三月十四，宋太祖已在潞州驻跸十八天。这天，有人向宋太祖报告，秘书丞、知河东转运使刘仪运送军粮误期，宋太祖大怒，下令将他免官。这时，又有人前来禀报，抓到了一名北汉间谍，宋太祖召他前来，询问太原防守及民情。那间谍答道：“城中之民久受荼毒，日夜盼望王师，望陛下早日入城，以慰民心！”宋太祖听罢，微微一笑，吩咐送给他一些衣物，将他放了。
也许是这间谍的话给他带来了希望，第二天，宋太祖便命车驾从潞州出发，三日后，驻跸南关。在这时他得到了李继勋的报告，称：宋军在太原城下大败北汉军，斩首千余级，俘获战马六百匹。这捷报使宋太祖又一次受到鼓舞，遂继续向太原挺进，驻跸于太原城南。在这里，他检阅了进攻太原的军队，鼓励将士奋力攻城，捣毁北汉朝廷。
宋军对太原的重兵包围引起了北汉诸州的恐慌。三月二十六，宪州判官史昭文前来投降，献出州城。宋太祖任命史昭文为刺史，并赐给裘衣、玉带、马匹等，意在表明对北汉降官的优抚，促使北汉尽快投降。
接下来便是如何实施攻城的问题。为了博采众议，宋太祖召集诸随驾大臣及将领们前来，共商良策。这次战前会议开得很热烈，大家争相陈述一己之见，大多数人的意见是：现今太原已成孤城，四周围兵数重，增加兵力，组织强攻，指日可破。只有左神武统军陈承昭不赞成强攻，他说：“强行攻城，损失巨大，况太原城墙甚坚，防守甚严，北汉主必倾全力拼死守城，必难攻破。左右自有兵马数千，为何不用？”
宋太祖觉得很奇怪，问：“朕之兵马都在城外，哪里还有几千兵马？”
陈承昭微微一笑，道：“汾水流急水沛，奔涌宣泄，岂是数千兵马所能比？”
宋太祖顿悟：“卿是说用水攻？”
陈承昭道：“臣正是此意。”
宋太祖大喜，当即命令陈承昭负责在汾水上筑长堤截蓄汾水，准备水攻太原。在筑堤期间，宋太祖多次到城南观看，陈承昭既受信重，日夜不离筑堤现场，工程进展很快。
三月二十九，宋太祖首先下令决开晋祠之水，直灌太原城。宋太祖并未对这次灌城抱多大希望，只是想作一次尝试，同时也对北汉进行威慑。
第二天，宋太祖命李继勋驻军太原城南，赵赞驻军城西，曹彬驻军城北，党进驻军城东，修造兵寨四十，缩紧了对太原的包围。与此同时，又派棣州防御使何继筠为石岭关部署，屯驻阳曲以拒辽兵。
北汉主刘继元得知这一消息，愈加惶恐，先后派兵夜出城门，攻打东西兵寨，都未获得成功。
四月，宋太祖亲临城东观看筑堤，并遣海州刺史孙万进率军数千包围汾州。宋太祖听说契丹分兵两路从定州、石岭关前来援助北汉，乃驿召棣州防御使何继筠诣行在所，授以方略，并拨给他精锐骑兵数千，说：“明日正午等候爱卿传来捷报！”当时正值盛暑，宋太祖以麻粉浆赐继筠，继筠食毕辞去。他果然不辱使命，与契丹大战于阳曲北，大破之，擒其武州刺史王彦符，斩首千余级，获人口一百多，战马七百余匹，铠甲甚众。第二天，何继筠派他的儿子承睿诣皇帝行在献捷，宋太祖早已登在高台上等候，得知这胜利消息，十分高兴。当时，北汉依仗契丹的庇护，太原城久攻未下，宋太祖把何继筠所献铠甲和契丹兵卒的首级向太原守军展示，守军大受震撼。
五月间，韩重赟也在嘉山大破契丹援军。这样，契丹的两路援军皆被击败，北汉更加孤危。
初八，宋太祖在城北，引汾水入新堤灌太原城。此后又至城东南，命水军乘小船载强弩攻城，内外马步军都军头王廷义亲自击鼓，免胄先登，中流矢而卒，殿前指挥都虞候石汉卿也中流矢后淹死。
五月二十一，宋太祖至城西，命诸军攻西门，派部分军队包围岚州，赵文度被迫投降，宋太祖设宴款待，任命文度为重国节度使。
自打太原被围以来，北汉宰相郭无为整日惶惶不安，心猿意马。这天，他向刘继元请求自率兵马夜击宋军，刘继元信以为真，拨给他精兵千人，命刘继业、郭守斌为其副，刘继元亲自送至延夏门。这天晚上，先是晴天无雨，不多时便风雨大作，地暗天昏，郭无为走至北桥，驻马召集诸将，刘继业因马脚受伤，先收部下回城。郭守斌迷失了道路，也未呼唤到。这样，只剩下郭无为独自向前，因雨大难辨道路，郭无为只得返回。
五月初二，太原南城为汾水所陷，水从延夏门瓮城灌入，穿透两层外城，城中一片恐慌，宋太祖亲至长堤视察，见水口渐渐变宽，北汉人沿城设置堤防，便命弓箭手乱箭齐发，使北汉人的堤防难以筑成。不多时，有大堆杂草从城内飘来，停留在水口，宋军箭弩难以射透，北汉军借此机会加紧筑堤，水口终于被堵住。
这时，郭无为又劝北汉主刘继元出降，刘继元不听。宦官卫德贵趁机告郭无为谋反，以为罪不可赦。刘继元也对郭无为怀疑已久，便杀死郭无为示众。
初三，宋太祖亲临城南，命水军乘轻舟焚其城门，东西班都指挥使李怀忠率众进攻，中流矢，几乎丧命。殿前都指挥使都虞候赵廷翰率诸班卫士叩头请战，愿先登急击，以尽死力。宋太祖道：“汝曹皆我所训练，无不一以当百，所以备肘腋、同休戚也。我宁不得太原，岂忍驱汝曹冒锋刃，蹈于必死之地！”
宋太祖如此爱将，使赵廷翰等大受感动，拜伏在地，高呼万岁。
此时，宋军正停留在甘草地里，因大雨连绵，阴云不开，很多人腹泻，契丹又派兵驰援北汉，夜从间道疾抵太原城西，鸣鼓举火，喊杀声不断，北汉太原守军士气为之大振，城守更加坚固。
面对这种形势，太常博士李光赞上书宋太祖，以为现在正值炎热季节，大雨不断，若河水泛滥，道路阻隔，将给大军的粮草运输带来极大困难，请求暂班师回朝，再谋攻讨。宋太祖又以班师事问之于赵普，赵普也作如是说。宋太祖在城东召开班师会议，商讨班师的具体事宜。
这次班师实则是大溃退。宋军丢弃粟三十万，茶、绢各数万，尽为北汉所得，北汉“丧败罄竭，赖此少济”。
宋军撤退后，北汉决开城下水，注入台骀泽，但水落之后，城墙却多半倒坍。当时契丹使者韩知瑶还在太原，叹气道：“宋军引水灌城，知其一而不知其二，设使先灌水再将水放出，太原人无生路矣！”
韩知瑶说的是真话。是的，假如宋太祖不急于班师，半途而废；假如将浸泡太原城墙多日的水再放出去；假如甘草地上的宋军再挺住炎热坚持几日，宋军的此次北伐很可能像原先想象的那样，功成而返，北汉小朝廷就此寿终正寝。
但是，还能有这些“假如”吗？宋太祖已经下达命令，开始了千军万马大撤退。这是一次前所未有的撤退，前所未有的狼狈，也是一次前所未有的损失。大量的粮草物资留给了北汉，如同给气息奄奄的北汉又注入了血液，北汉照样又作为宋朝的一个不可小视的威胁，站立在宋朝北方。而宋军将士呢，这次大撤退也给他们在精神上、心理上造成了重挫，他们丧失了先前的傲慢和矜持，不得不对攻而不下的北汉刮目相看。
宋太祖赵匡胤也难以掩饰其懊悔和沮丧，当他踏上归程的时候真是别有一番滋味在心头。
宋太祖赵匡胤是开宝二年（公元969年）六月十八从太原回到京师的，这段行程整整走了一个月零两天。这是一段令人懊恼的行程，自统一战争开始以来，宋太祖还是第一次遭受到这样严重的挫伤。
