曹操统一北方以后，南方还有两个主要的对手：一是荆州的刘表，一是江东的孙权。荆州位居长江中游，土地肥沃，物产丰富，是四方要冲之地。曹操心里十分清楚，要想打下南方，首先得占领荆州，这样才能向东攻击江东，往西进逼汉中蜀地。
公元208年，建安十三年，春季，曹操返回邺城，挖掘人工湖，命名“玄武池”，训练水上部队。
夏季，朝廷撤除“三公”官称，恢复丞相、御史大夫。西汉王朝初年，“三公”指丞相、御史大史、太尉；末年时是：大司徒、大司空、大司马；到了东汉，是指司徒、太尉、司空。此时的丞相职在宰相之上，相当于总理，御史则相当于最高监察长。任命曹操为丞相。
曹操擢升崔琰当丞相府行政官长（丞相西曹椽），毛玠当丞相府人事官长（丞相府东曹椽），河内人（河南省沁阳县）司马郎当主任秘书（主簿），其弟司马懿当教育官长（文学椽），卢植的儿子卢毓当司法次长（法曹议会史）。
崔琰、毛玠，同时负责文官的选拔跟升迁、调差、黜免，所任用的官史都是清廉正直的人。文武官员到丞相府，都穿国家规定的制服，徒步行路。居高位的官吏既如此廉洁，民间的风俗，遂跟着转移。曹操得知，叹息说：“用人如此恰当，天下自然治理，我还担心什么？”
曹操又派张既前去游说驻军槐里（陕西省兴平县）的将军马腾，建议他放弃军权，到朝廷任职，以解后顾之忧。马腾犹豫之后，终于接受，带领全家老小全部迁到邺城，曹操推荐他当皇城禁卫司令（卫尉），他的儿子马超当偏将军，继续率领父亲的部队，留守槐里。
曹操安置了朝廷内务，又解了关外的后顾之忧，于是在秋季对荆州开始发动攻击。
当初当曹操远征北方三郡乌桓时，寄居荆州的刘备就劝说刘表袭取空虚的许都。可是刘表正如郭嘉所说的那样，只会高谈阔论，坐保荆州，毫无讨伐进取之心，同时对有野心的刘备也不放心，致使大好时机错过。
到了曹操击灭三郡乌桓回到邺城不久，这时割据江东的孙权也想统一大江以南，就趁刘表经常生病之际，利用刘表的前部将甘宁袭杀驻守夏口（湖北省汉口）的刘表大将黄祖，屠洗夏口城，劫去男女数万口。
曹操恐刘表病死之后，荆州的地盘不是为刘备所盘踞，便是遭孙权所并吞，因此急急忙忙向荆州进发。然而大军还没有和荆州军队接触，刘表已经病死了。
刘表有两个儿子刘琦、刘琼，是同胞兄弟。刘表在他们的母亲去世之后，又娶了荆州大族蔡氏，蔡氏的弟弟蔡瑁也成为荆州政治上的重要人物。刘表本来就喜欢小儿子刘琼，蔡氏又把自己的内侄女嫁给了刘琼，蔡氏遂也特别喜爱刘琼，厌恶刘琦，蔡瑁与刘表的外甥张允也跟着每天在刘表耳边说刘琦的坏话，夸奖刘琼。在刘表死前数月，刘琦感到处境危险，便到夏口去补黄祖的缺，当江夏太守。到了刘表病死，蔡瑁等就拥戴刘琼继承刘表做荆州牧，而这时曹操的大军已进入荆州地区。
刘表大将荆越及以韩嵩为首的豪族都劝刘琼投降曹操，刘琼也考虑到自己没有力量抵抗曹操，倘若利用刘备抵抗曹操，如果失败，荆州会受到更大的破坏，自己的身家性命也难保；假使刘备抵抗成功，刘备又不肯心甘情愿做自己的部下，服从自己的调度，荆州地盘还不是自己的，所以刘琼很快接受了他们的建议，向曹操投降。
刘备自从建安六年（公元201年）投奔刘表以后，驻在荆州已有8年之久，在这8年之中，他用力拉拢了不少荆州的豪族地主，因此，他后来撤退时，“荆楚群士，从之如云”。建安十二年，经司马徽，徐庶推荐，刘备三顾茅庐，访得“卧龙”诸葛亮，有了替自己安邦定策的谋臣，更是如虎添翼；后来又利用清查户口的机会，搜募到不少及龄壮丁来补充自己的军队。
有一次，刘表宾客云集之时，刘备起身去洗手间，忍不住泪流满面，刘表感到奇怪，问他为什么。刘备说：“过去，我从不离开马鞍，髀肉全消，而今不再骑马，髀肉复生，日月如同流水，老年将至，功业毫无建树，不觉悲怆！”
可见刘备胸中大志一直未消，所以刘备在荆州的8年，虽无明显建树，但无论在军事力量，在民心，在人才方面都有了很大程度的充实。当刘表在世时，因为要利用刘备抵御曹操，命他屯守樊城（湖北省襄阳县北），对他还是比较照顾的。
刘琼归降曹操，不敢通知刘备。等到刘备发觉情况有异，派人去问刘琼，刘琼才命他的属官宋忠，到刘备那里，送上正式通知；而此时曹操大军已压境。刘备一听，头上宛若响了一声巨雷，大为惊骇，他咆哮着对宋忠说：“你们这些人，竟做出这种事，竟不早早通知，直到今天才教我知道，是不是过分？”说着拔出佩刀，直指宋忠，宋忠吓得两腿直抖，刘备继续说：“纵是砍下你的头，也不足以消降我的愤怒。我不愿被人议论，临走时还杀你们这种人。”即命宋忠回去。
刘备于是赶忙把自己的军队从樊城向江陵一带撤退，追随他的部众多达10多万人，辎重车辆数千辆。然而行动十分迟缓，每天只能前进10余里。刘备派关羽率领船舰数百艘，约定在江陵会师，然后，再定行止。有人向刘备建议：“行军必须迅速，应先保守江陵。我们的部众虽多，可有铠甲的士兵太少，如果曹操大军追及，如何抵御？”刘备说：“创立大业，百姓为本，他们是追随我，我怎么能忍心舍弃？”
曹操知道江陵储存大量粮草武器，恐怕被刘备得到，于是放下辎重，率轻装部队先到襄阳，听说刘备已经南下，立即特选精锐骑兵5000人，紧急追击，一天一夜急行300余里。
这时，正是骄阳似火，行军路上都是荒山野岭，找不到一滴水。兵士们都渴得有气无力，行军速度越来越慢。曹操骑在马上，忽然心生一计，只听他大喊一声：“快看啊，前面有一大片梅树，结满了青梅，又甜又酸！”兵士们一听，腮帮子都酸了，嘴里立即涌出唾沫，顿时精神一振，跑得飞快。
终于，在当阳长坂追上刘备。刘备部众崩溃。刘备抛弃妻子儿女，跟诸葛亮、张飞、赵云等，在几十名骑兵护卫下逃走。所有部众及辎重，全落入曹操之手。刘备的谋士徐庶的母亲也被俘虏，徐庶于是向刘备告辞，指着心说：“我跟将军共建霸主大业，全靠此方寸之地。而今母亲失踪，方寸已乱，留在这里，对你没有帮助，请允许我从此别去。”刘备无奈，只得允许，徐庶遂投奔曹操，可从此却“身在曹营心在汉”。
曹操于是夺得江陵，任命刘琼当青州刺史，封侯爵，连同当初劝降的蒯越等，封侯爵的15人；又任命一批荆州名士担任荆州地方官，以此顺从民心。同时取得荆州的江北四郡，收编荆州军七八万人，蒙冲斗舰千余只，军用物资不计其数。蒙冲斗舰是一种用生牛皮蒙在狭长船身上的战舰，两侧下部开孔，容纳船桨，上部开窗，以便射箭及伸出长茅。机动性很大，来去如飞，敌舰无法靠近。曹操既得此舰千余只，又加上荆州军士素习水战，对于顺江东下，攻击孙权，信心大增。
刘备自当阳被曹操击溃以后，向汉水方面撤退，正好与关羽率领的自汉水而下的水军会合。渡过汉水之后，又碰到刘表长子江夏太守刘琦，两下会合，有军队约两万多人，于是就退到夏口。夏口在江北，刘备仍认为不安全，又从夏口退到鄂城的樊口。当刘备在当阳长坂的时候，孙权曾派鲁肃去和他联络；因此，刘备到了樊口，也派诸葛亮同鲁肃一起去见孙权，表示愿意组成联军，共同抵抗曹操。
此时孙权正拥军柴桑（江西省九江市）。诸葛亮晋见孙权，分析时局说：
“全国一片混乱，将军在江东起兵，而刘州长（刘备）在汉水以南，集结部众，跟曹操争夺天下。如今，曹操士军所及，已击破荆州，声威震动四海。英雄豪杰，已无用武之地，刘州长撤退南下，盼望将军量力收容。将军如果能以吴越的人力与朝廷抗衡，就应该早一天跟曹操断绝关系；如果不能，为什么不早一天令军中收藏武器，脱下铠甲，向北方归降？而今，将军表面上服从朝廷，内心却三心二意，到紧急时刻，却不果断，大祸将随时来临。”
“依你的说法，刘州长为何不向北方归降？”孙权不动声色地问。
诸葛亮早就料到孙权会反问这么一句，于是故意正色说：“田横，齐国的一个壮士，还能坚守大义，不肯屈辱，何况刘州长皇家苗裔，盖世英才，志士对他的仰慕，如同流水归向大海。如果大事不成，只能是天意，怎么能当曹操的部属！”
孙权此年27岁，正值血气方刚之时，被诸葛亮这么一激，勃然大怒说：“我不能把吴国的故土，10万士兵，拱手奉送，去受人控制。我决心已下！非刘州长不能抵抗曹操，可见刘州长新近的挫败，怎么能担当此任？”
诸葛亮心里有了底，便献上对策：“刘州长虽然在长坂遭到挫败，但集结部众，加上关羽水军，还有精锐1万人，刘琦所属也不在1万人之下。曹操的南北大军，远道而来，身心疲惫，又不熟悉水战，荆州将士，并不心服，将军如果真能指派一位猛将，率军数万人跟刘州长合作，一定可以击破曹军，曹操军败之后，定向北撤退。如此，荆州与江东势力强大，鼎足三分的形势，定会奠定。成败的契机，就在今日分晓。”
孙权听了，大为高兴，召集部属商议。
曹操见孙权对形势抱观望态度，不敢得罪自己，便踌躇满志，雄心勃勃，认为只要挥师东下，孙权一定会慑于自己的声威，献地投降。
“我看不见得！”谋士贾诩向他泼了冷水。“丞相消灭了袁氏父子，今天又降伏汉南，声名远播，如果此刻能利用荆州四郡资源，休整部队，安抚百姓，时机一到，江东就会不战而服；如果急于用兵，恐怕”恐怕什么？曹操有些不耐烦，拒绝了贾诩的意见，随手写了一封信，派人给江东，信中说：近来，奉天子之命，讨伐叛徒，军旗南指，刘琼降服。现在，我亲率长江舰队80万人，希望跟将军在吴国故地狩猎。
孙权看了，让部属传阅，举座震恐，竟无人色，有的甚至害怕得发出呻吟之声。秘书长（长史）张昭说：“曹操挟天子以征四方，我们抵抗他，名不正，言不顺。再说，我们凭借的是长江天险，如今曹操占了荆州，长江天险已与我共有。如果曹操水陆并下，敌强我弱，我们如何抵挡？不如归顺朝廷。”众人纷纷附言。只鲁肃一人不发一言。稍后，孙权去洗手间，鲁肃追到走廊上，孙权会意，拉起他的手问：“你要告诉我什么？”鲁肃说：“刚才，大家的议论，可能引导将军走上歧途。要知道，像我鲁肃，可以归降曹操，多少我都有个一官半职；像你将军，却不可以。请将军早日决定方向。”孙权叹息说：“大家使我失望，你的睿智分析，跟我的想法完全相同。”
周瑜原被派往季阳，鲁肃劝孙权召回周瑜，共商大事。周瑜既返，对孙权说：
“曹操名义上是汉王朝丞相，其实是汉王朝的奸贼。将军英雄盖世，又继承父兄的基业，据守江东广大土地，拥有足够使用的精锐部队，自当横行天下，为汉王朝洗清污垢。何况曹操亲自前来送死，怎么能反而迎降？且向将军作一分析：北方边疆，仍没有平定，西北军阀马超、韩遂，仍驻屯关西，始终是曹操的后患。曹操舍弃马匹，改用船舰，跟吴越士兵，在江河争锋，已是不利。现在，正是严冬，千里冰封，战马吃不到野草，曹操又驱逐这些北方部队，盲目地投入错综复杂的河川湖泊之间，水土不服，一定患病。这几点，都是统帅应考虑到的危险，而曹操却贸然不顾一切。将军这次擒获曹操，就在这场决战之中，请拨付给我数万精锐，挺进到夏口，保证为将军击破来敌。”
孙权听了，猛地站起，昂然对大家说：“曹操老贼早就打算颠覆朝廷，自己纂位，只是顾忌袁绍、袁术、吕布、刘表、以及我——孙权，其他英雄都已消灭，只我还在，我跟曹操老贼势不两立，你主张迎战，正合我意，是上天把你赐给我。”说罢，抽出佩刀，向桌案砍去，坚决地说：“任何一个人，再敢说迎降，跟这个书案相同！”随即散会。
当夜，周瑜再次晋见孙权说：“大家看到曹操书信，被他的水陆两军80万，吓得惊惶失措，不能正确分析其虚实。而今我们作一实际考察：曹操所统率的直属部队，不过十五六万，而且长途跋涉，早已疲惫；新接收的荆州部队，充其量也不过七八万，而且军心不稳。用疲惫的士卒，驾御军心不稳的部众，人数再多，也没有用。我只需要5万人的精锐部队，就足够克制敌人，请将军不必担心。”孙权感动，拍着周瑜的后背说：“你的见解，跟我的相同。5万人一时难以集结，但已征调3万人，船舰、武器都准备齐全，你跟鲁肃、程普先行出发，我当继续集结部队，作你的后盾。”
于是命周瑜、程普分别担任左右翼总司令，鲁肃当参谋长（赞军校尉），率军而上，跟刘备合力迎战曹操。
曹操率水陆两军自江陵出发，沿江东下，到达赤壁（湖北省蒲沂县西北），与周瑜、刘备联军遭遇。这时，曹操的军队所传染到的疫病，已非常猖獗，所以曹军和孙刘联军才一接触，就打了个小败仗，退到北岸乌林，与孙刘联军隔江对峙。
到了十一月底，两军终于展开了大决战。决战前夕，曹操收到孙权大将前锋黄盖的一封密信，说他受到周瑜、鲁肃排挤，准备投奔曹营，并约定了时间。曹操信以为真，便准备迎接黄盖来降。
这一天，东南风大作，黄盖带领10艘蒙冲斗舰，直驶曹营。船内装满芦苇干柴，灌上油脂，外面围起布幔，插上旗帜，将一些小船系于船尾，船开至江心，都扬起帆来。曹操官兵以为黄盖来降，都跑到江边和船头观看，向江心指指点点，欢声雷动。当10艘战船离曹操只有2里多路时，忽然都燃起大火，风助火势，船行疾如流星，冲入曹操舰群。顷刻之间，尽烧北船，接着又蔓延到岸上营寨。一时间，只见江心和岸边，烈焰冲天，曹军士兵、马匹，或被烧死，或坠入长江溺死，喊哭号震天，死伤不计其数。
周瑜见北船着火，立即擂动战鼓，率轻装舰艇随后赶到，战鼓雷鸣，震动天地，曹操大军顿时崩溃。
曹操无法控制，在硝烟弥漫中，带着残部由小道向西逃跑。沿途泥泞不堪，路又阻塞，天际突然刮起狂风，队伍几乎不能行。曹操命令老弱残兵去背草填路，骑兵部队才勉强通过，而身负野草铺路的老弱残兵，被人马践踏，倒在泥浆中，死亡不计其数。刘备、周瑜水陆并进，在后追击，一气追到南郡（湖北省江陵县）。曹操大军惨败之后，加上饥饿和疫病，丧生的超过半数。
曹操经此大挫败，害怕本土发生变故，不敢再在荆州停留，留下大将曹仁、徐晃守江陵，乐进守襄阳，自己引军北还。
周瑜进攻江陵，费了一年多的工夫，才将城攻下，迫使曹军退守襄、樊。在此期间，刘备除以少数兵力协助周瑜攻江陵，主力部队则南下攻占了荆州长江以南的四个郡。此时局面正如诸葛亮在战前分析给孙权听一样，三国鼎立之势初具模型。
先前，益州州长刘璋，听到曹操取得荆州十分震撼。派行政官（别驾）张松，晋见曹操，祝贺致敬。张松为人短小精干，行为放荡，可是，他的真知灼见，超过常人。曹操当时轻易获得胜利，刘备也狼狈逃走，对其貌不扬的张松，认为并不是重要角色，不再像以前那样对人亲切接待。主簿杨修建议曹操聘张松在朝廷当官，曹操不听。张松对曹操的轻视，心怀怨恨。返回益州后，建议刘璋跟曹操断绝关系，转跟刘备接交，刘璋接受。
赤壁之战之前，曹操有大海般的胸襟，气度广阔，礼贤下士，可钦可爱，使人甘愿为他效劳，肝脑涂地，在所不惜。以张绣的杀子之仇，一听来归，立即握手言欢，封官加爵；以陈琳的恶毒攻击，因为爱才，也能宽恕。假使能用对待此两人的态度来对待张松，张松一旦倾心，益州天府之国，便入自己掌握，刘备日后岂有立足之地？胜利使人头昏，权力使人糊涂，曹操尚且如此，何况泛泛之辈？英雄豪杰，逆境之中，能保持谨慎清醒；一旦顺境，最易出错的便是得意忘形。曹操因此一次倨傲，自负他的胜利，天下遂分裂为三。勤勤恳恳数十年累积下来的成果，在低头抬头的刹那之间，就被毁弃，岂不可惜，可悲！
赤壁之战后，曹操看到孙权和刘备手下都有些出类拔萃的文武人才，他们如果继续合作下去，吞并南方殊非易事；因此北归之后，分别写信给孙权、刘备，试图拆散其联盟；又密遣蒋干以私人名义往说周瑜，劝周瑜背离孙权，归附自己。然而这两件事均未成功。
曹操回军驻屯谯县，发布《存恤吏士家室令》，以安定死亡将士家属的生活，鼓舞士气：
近年以来，军队多次出征，有时遇到疫病，官兵有的死亡，有的不能回家，夫妻不能团聚，百姓流离失所，仁爱的人难道乐意这样吗？是不得已啊！凡死者没有产业，家人不能养活自己的，县官不要停止口粮供应，部队长官要对他们抚恤、慰问。以符合我的心意。
同时在谯县制造轻舟，训练水军，并屯重兵在合肥，以合肥作为对吴战争的军事重镇，并重新部署扬州郡县长吏，以芍坡（安徽省寿县南）为中心，开垦荒田，实行屯田，以储军粮。
公元210年，建安十五年，曹操56岁了，赤壁之战惨重失利，统一事业受到严重障碍，曹操不禁心情沉重，自己驰骋疆场30年，大业未定，年华却老。心中郁闷，发出悠唱：
厥初生，造化之陶物，莫不有终期。莫不有终期。圣贤不能免，何为怀此忧？螭龙之驾，思想昆仑居。思想昆仑居。见期于迂怪，志意在蓬莱。志意在蓬莱。周孔圣徂落，会稽以坟丘。会稽有坟丘。陶陶谁能度？君子以弗忧。年之奈暮何，时过时来微。
译文：
开天辟地，造化的生物，都有终结的时候，都有终结的时候，圣贤也不能避免，何必为此担忧。也想让黄龙驾车，到昆仑仙山居留，到昆仑仙山居留。希望见到神灵怪异，去蓬莱仙岛遨游，去蓬莱仙岛遨游。周公、孔丘也难逃死亡，会稽就有大禹的坟丘，自古以来的漫长岁月啊，谁能永世长留？心胸开朗的人啊，决不为死担忧。有什么办法啊，人老白头！盛年现已过，应该珍惜今后无多的春秋。
这首乐府诗，明白晓畅，一唱三叹，表达出诗人壮志未酬，时不我待，同时又幻想成仙长寿的悲哀。这首诗题名《精列》。“精”指人的精神灵气，古人认为这是人的生命之所系；“列”同裂，分解。意味着人的衰老和死亡。“精列”是乐府旧题，属《相和歌·相和曲》。曹操有很多诗受到乐府的深刻影响，史称曹操所“造新诗，被之管弦，皆或乐章”。现在存留下的曹操的诗作虽只有20首左右，其中绝大多数是乐府诗。曹操是一个叱咤风云的乱世英雄，他的审美情趣也和一般文人不同。他的诗绝少华美辞藻，结构也不够精细，喜欢从大处落笔，语言古朴，气势宏伟，内涵厚重，抒发感情往往悲凉慷慨，深沉雄壮，显示出鲜明的个性特色，也展示了建安诗歌最为感人的一面。乐府歌辞从他开始，走上了新的发展道路。
与创作《精列》同一时期，曹操还写了《气出唱》三首、《陌上桑》、《秋胡行》二首等游仙诗，在这些诗中，曹操感叹人生无常，幻想长生。其中《秋胡行》“晨上散关山”一篇，虚构了一个遇仙而追随不得的情节，表现人物惆怅之感，意境颇为美好。
