可见，曹丕在初期的人事安排中，并没有考虑把兵权分给司马懿，甚至不让他有染指的机会。但这个好大喜功的皇帝，身体渐渐有些支持不住，认为司马懿这几年也没有什么企图，自己死后国家还得靠他，于是封司马懿为抚军大将军，加给事中、录尚书事，让他可以领兵五千，守卫许都（与曹真、曹休的实际统兵数量相比，只是一个零头）。
曹丕只当了七年皇帝，就累死了。临终前，曹丕把太子曹叡叫到床前，对他说：我已经给你做好了人事安排，让中军大将军曹真、征东大将军曹休、镇军大将军陈群、抚军大将军司马懿四人为辅政大臣。真、休、群三公，你不必多疑，都是忠于魏国的；司马懿虽无明迹，但此人深藏不露，你小心些为好。曹叡拜领，当年就在洛阳即皇帝位，是为魏明帝。
曹叡继位时年方二十三岁，但继承了曹操的优良基因，性情沉着刚毅，做事明识善断，让司马懿感觉这娃娃比他爹厉害，看来还得猫着等时机。不久，孙权又开始进兵伐魏。这次分兵两路。第一路，亲率大军围攻江夏；第二路，命左将军诸葛瑾、将军张霸引兵进犯襄阳。司马懿认为时机已到，但如何才能获得批准呢？最好的办法是上表请征东大将军曹休和自己分兵两路应战。曹叡批准，命曹休部援助江夏，司马懿部援助襄阳。这是司马懿第一次以方面军司令的身份引军出征，因此只能胜，不能败。诸葛瑾和张霸用兵较为传统，没什么新招，所以司马懿到襄阳后，没费多大力就大败诸葛瑾，斩杀张霸，斩首千余级，得胜而归。曹休也成功击退孙权。
但是，曹叡对待曹氏家族和祖辈遗留大臣上与司马懿还是有分别的。击退东吴后，曹叡大封群臣，封曹休为大司马（正一品，位列三公之首），曹真为大将军（正一品武职之首，魏国最高军阶），陈群为司空（正一品，位列三公），司马懿为骠骑大将军（正二品武职之首）。从这个封赏来看，曹叡已经把父亲曹丕安排的四位托孤大臣拉开了距离，只有司马懿没有进入正一品官阶。
但司马懿心头暗喜。因为正二品武职之首的骠骑大将军，在他看来比位列三公实惠。只是，曹休、曹真当时掌控天下兵马，司马懿要领兵还得向这二位请示报告，弄不好会起冲突，因为二曹自恃功高，不大听得进意见，认为司马懿打仗不怎么样，经常刁难他。
如何才能化解这一矛盾？司马懿认为必须设法脱离二曹的监控，才有单独建功、获取曹叡信任的机会。经过半年多调研，司马懿向曹叡写了表文，分析了南方的态势，指出孙权屡屡侵犯是因为荆州、豫州的防务出现了问题，需要集中整顿，建立牢不可破的防线，让东吴无法再入侵魏国。这份报告入情入理，曹叡就把司马懿找来说：既然你有信心加固南方防务，就辛苦你去整治吧。于是下诏，命司马懿以骠骑大将军本职驻军宛城，兼领荆、豫二州都督，节制二州军事力量。
6
司马懿抵达宛城后，才将藏了多年的胸中所学施展出来，严密布防魏国南线，使东吴不敢再越雷池。期间，司马懿认识到魏国的西南地区新城也是战略要地，如果有失则会危及魏国，因为新城太守孟达是关羽失败后投到魏国的降将。
孟达一直是首鼠两端之辈，先前在刘璋手下为将，后来与法正去“迎接”刘备入蜀，用尽手段表示誓死效忠刘备。刘备平蜀后任命他为宜都太守。刘备攻汉中时，孟达攻取了房陵、上庸。刘备有识人之能，担心他将来反叛，就派养子刘封去上庸，名为“合兵共守”，实为监督孟达。这样的人事安排，在当时刘备抽不出太多将领之时，也算合理，因为刘封当时的地位很高，一直跟着刘备，在没有刘禅之时一度被认为是刘备的继承人。但刘封心胸狭窄，刘备有嫡子刘禅后，他一直担心自己失势。建安二十四年（公元219年），刘备当了汉中王，按制要立王太子，拿不定主意，就问诸葛亮应该立谁为王太子。诸葛亮比较狡猾，说这是主公的家事，臣不便过问。于是刘备就写信给二弟关羽。关羽很耿直，直接回答：大哥有亲儿子，为什么要立外人？于是刘备就立了刘禅。刘封知道后，深恨关羽。及至关羽败困麦城，派人向离得最近的刘封、孟达求救。刘封当时想出兵相救，但孟达说：你当他是叔叔，他当你是侄子吗？就把立王太子的事端了出来。刘封就以上庸三郡还没稳固为由，按兵不动。刘备知道后，气得肝疼，要亲自引兵捉拿刘封。诸葛亮认为逼急了刘封会降魏，就把刘封诓回成都整死了。孟达则带领人马投了魏国寻求保护。曹丕继位后，把房陵、上庸、西城三郡合为新城郡，让孟达任新城太守，封建武将军、平阳亭侯，极力笼络他。当时，司马懿曾进谏曹丕，说孟达有奶就是娘，不可信任。曹丕不听。
曹丕死后，诸葛亮想夺回上庸三郡打开战略缺口，就给孟达写了长信，说现在曹魏由小娃娃执政，志能之士老的老，死的死，魏国已经没有当年曹操时的气运了，将军曾为蜀国立过大功，当年担心先主责怪才暂依魏国，但现在曹叡不重用将军，只是重用曹氏宗族的人，将军有什么发展前途呢？我以我的信誉保证，只要将军复归蜀国，我保你为大将军。孟达接信，心有所动。刘备已死，真正掌权的是诸葛亮，而且近年来确实厉兵秣马，看样子要征讨曹魏。如果魏国不敌，自己就没出路；就算两国相持，自己也不能升迁，因为小皇帝不待见自己。于是，就给诸葛亮回信表达了深深的悔意，说自己生是蜀国的人，死是蜀国的鬼，丞相能这样理解属下，属下感激涕零。
诸葛亮接信，深知孟达为人狡猾，怕有反复，必须逼他就范，于是派人到孟达的死对头魏兴太守申仪那里诈降，把孟达反叛的事告诉申仪。申仪觉得事急，赶忙跑到最近的宛城密告司马懿。司马懿敏锐地捕捉到这是诸葛亮的计谋，如果不及时处置，孟达知道“事泄”后会马上起兵，若与蜀军对接，事情就不好办了。于是马上写信，快马送给孟达。信中说，子度（孟达的字）将军以前弃暗投明，国家委将军以守卫边疆的重任，就是为将来攻灭伪蜀做准备。将军的心就像太阳一样光明，圣上是非常清楚的。蜀人深恨将军不帮关羽，诡诈的诸葛亮欲离间将军与圣上，故意制造将军谋叛的罪名，好逼将军投奔于他。然而以圣上的英明、将军的智慧，这等伎俩岂能奏效？所以请将军以大局为重，不要上了诸葛亮的当，将军如果入蜀，难逃刘封的命运，请将军以国家为重；我当上表圣上，给将军加官晋爵。
信一发出去，司马懿马上以都督的令符急调荆、豫之兵，集合五万人马直奔上庸。部下认为，这样的事要先向圣上奏明后等候命令再行事。司马懿说：来不及了！这时候正是孟达与诸葛亮互相猜疑的时机，必须马不停蹄，以雷霆之势斩杀孟达，稳固西南，再向圣上奏明。于是催兵急进。
孟达得了司马懿的信，犹豫不决。诸葛亮故意泄露孟达要反的秘密后，飞马来信催他赶紧起兵，不然宛城的司马懿会起兵来攻上庸。孟达给诸葛亮回信时说：请丞相放心，司马懿虽挂有骠骑大将军的头衔，但没打过什么像样的仗，我不怕他。我在伪魏，深知他们的规矩，像这种调动大军的事，必须经过曹叡的批准才行。宛城和洛阳相距八百里，离上庸相距一千二百里，司马懿上表请令，来回折腾至少需要一个月。到那时，上庸三郡的城池都已加固，诸军都做好了准备，丞相您再派兵接应，不仅不怕司马懿，还可以乘势占领魏地。
诸葛亮和孟达万万没想到，司马懿根本不请示，只用八天时间就率大军赶到。那时的吴、蜀关系修复，都急调边关军马来支援孟达，司马懿派一万人将吴、蜀援军隔离在险塞之外，另外四万人分八路攻城。孟达根本没有准备，惊悸之余草草构筑工事。魏军因急着赶路，没有带足够的粮草，只有攻破上庸才能活命，于是拼死攻城。仅仅十六天，孟达的部下实在扛不住，开城投降。司马懿入城，不听孟达废话，砍了脑袋送往洛阳，俘虏万余军马，尽收上庸三郡。吴、蜀军马见司马懿以闪电之势灭了孟达，回天无力，只好退军。
曹叡接到司马懿战报，十分欢喜，准备擢升司马懿。大司马曹休进言：司马懿不按制度汇报军情，私自调兵去打孟达，虽有功劳，但有违法度，最多功过相抵。曹叡自然清楚司马懿是对的，要是迟了，上庸三郡已经是蜀国的了。不过皇帝对臣下擅自调兵是很忌讳的，心头不爽，加上大司马有意见，就没有任何表示。
7
司马懿不在乎封赏，只是害怕失去兵权。他想回宛城继续统兵，但又不能明说，就绕着弯子对曹叡说：蜀国失了荆州，想占有上庸三郡也没有成功，暂时不会来犯。但是，吴国与我国接壤的战线太长，所以孙权经常来犯，我们首先要战胜吴国。吴国以为中原人不习水战，因此集兵东关（巢湖濡须口，吴国建都建邺后花大力气在此建濡须坞，为吴都最后防线，曹仁曾在此大败）。大凡打仗，首先要掐住对方的咽喉，再猛击他的心脏，才能取胜。夏口是吴国的咽喉，东关是吴国的心脏，如果引陆军向皖城，把孙权的主力吸引出来，再用水军向夏口，乘虚出击，如同神兵天降，必破吴国。
曹叡虽然防着司马懿，但毕竟打败吴国更重要。听司马懿说得头头是道，曹叡就让司马懿回宛城备战。司马懿以为向曹叡提交了这样的方案，皇帝会让他全权征伐吴国，不料曹叡真正相信的人还是曹休。不久，孙权让鄱阳太守周鲂学黄盖假装降魏，曹叡命曹休起大军十万前往皖城，而命司马懿领兵进攻江陵。司马懿心头很不舒服，知道有曹休在，自己出头困难，不如借孙权之手除掉政敌。他深知曹休勇力远胜谋略，为人十分骄矜，就把进攻东吴的策略写了两份，一份呈送曹叡，一份抄送曹休。曹休一直瞧不上司马懿，见这老鬼还要指点自己，气得须发倒竖，对部下说：老子偏不用这阴人的计策，捉了孙权再说；又上表给曹叡，说这次不要让司马懿掺和。曹叡当然是信任曹休的，于是明诏司马懿停止进军。
曹休因完全排斥司马懿的正确方略，加之立功心切，不顾手下将领的劝阻，孤军深入吴地石亭（今安徽省舒城境内），结果中了吴国大都督陆逊三路大军的埋伏，被杀得溃不成军，幸亏豫州刺史贾逵引兵急救，曹休才免于全军覆没。
曹叡虽然没有惩罚曹休，但这一仗成了曹休的心病，羞愤交加，不久背疮发作而死。
司马懿的一个重要政敌倒下了。虽说曹休之死并不是司马懿直接下的手，但如果没有他“促成”石亭之败，曹休不会那么快就气病而死。此事，司马懿的高明之处还在于，他事先等于两次向曹叡汇报了征伐东吴的正确方略，但曹叡、曹休不用其策，还让他不要进兵，那么他非但没有丝毫责任，还向朝廷和军方证明了自己的正确。
曹休死了，还有一块绊脚石，就是大将军曹真。本来，在曹叡的人事安排中，曹休主要应对吴国，曹真主要应对蜀国。如今曹休已死，只能依靠司马懿应对东吴。
曹真比曹休要厉害得多，是从沙场熬出来的一块老姜，曹操在世时把他当亲儿子看待，深得曹操兵法的真传，成功阻挡了诸葛亮的两次北伐，占据了街亭（今甘肃省秦安县境）要冲，夺回丢失的天水、南安、安定三郡，使诸葛亮北伐计划受到重创（因为从地理上已经丧失了进攻关中的主动）。
从曹真夺取街亭、复收三郡、两败孔明来看，曹叡安排他对付蜀国是完全正确的。但是，诸葛亮毕竟是将兵大家，又极善谋略，第三次伐魏（公元229年）时，成功占领了武都（今甘肃省成县）、阴平（今甘肃省文县西北），曹真感到非常吃力，加之连降大雨，魏军只得退兵。
曹叡觉察出曹真再与诡计层出、死缠烂打的诸葛亮斗下去，难免有失，动了调用司马懿的念头。于是，他密诏司马懿尽快布防南线防止吴国进军，再到西线对付诸葛亮。
司马懿心头窃喜。派大用场的时机终于到了！经过大半年的时间，司马懿把南线防务布置得如铁桶一般，才回洛阳述职。这回，曹叡决定主动兴师伐蜀。司马懿一回京，曹叡就升他为大将军，加大都督（正一品），假黄钺（可以代表天子行生杀之权）。这一职位以前是曹真，现在正式授予司马懿，含义就是司马懿已经成为伐蜀的执行统帅。精明的曹叡感到，如果再不下点本钱，就难以抵御诸葛亮的进攻。当然，为表示对曹真的尊重，就提升曹真为大司马，并将兴兵伐蜀的第一指挥权交给曹真。也就是说，司马懿有临机专断之权，但在行政上仍归曹真节制。这样的人事安排，既给了司马懿权力，又让他受到约束。可见，曹叡的心思是缜密的，也无怪司马懿在他活着时仍然忍耐待时。
由于这次主动伐蜀争议很大，朝中多数人认为大局已定，诸葛亮善于用兵，出师不能胜。曹叡问司马懿的意见，司马懿说听陛下的。因为细心的司马懿观察曹真的行动，发现其已染病，恐不久于人世，在此时显露自己是愚蠢的行为。他现在的心思，耗死第二个政敌曹真才是最大的事，你们说要就打吧，反正按常规行军就行了。
曹真挂帅后，率主力入子午谷，命左将军张郃出斜谷，命司马懿溯汉水出西城，分兵三路会攻汉中。这次出师果如司马懿所料，劳而无功，又遇连天降雨，只得班师。
曹真回朝后，于第二年病逝。曹叡哀痛不已，下诏曹真的长子曹爽继承其父爵位、封武卫将军。曹爽自小是曹叡的玩伴，跟亲兄弟似的。曹叡念及旧情，加上对曹真的怀念，对他特别器重，几乎是火箭提拔，希望他能承袭父志，为国效力。
8
公元231年，诸葛亮探知曹真已死，发动第四次伐魏，包围了魏国守卫祁山的贾嗣、魏平部，并用当时的科技发明“木牛流马”运输粮草，搞得魏军像见了外星人似的。曹叡两大臂膀曹休、曹真都死了，只得重用司马懿。他把司马懿召来说：西方战事吃紧，只有爱卿能托付大事。于是命他西驻长安，率领左将军张郃、雍州刺史郭淮等名将防御蜀军。至此，司马懿真正当上了魏军统帅，时年五十三岁，正式与大名鼎鼎的诸葛亮对决。
相对于担任蜀军统帅多年的诸葛亮，司马懿实际作战经验是不能比的，但司马懿施展了“耗”字诀，成功阻击了诸葛亮的凌厉攻势。从司马懿对诸葛亮的用兵策略上可以看出，他主张消耗战，因为他认定蜀军远来，后勤补给困难，诸葛亮巴不得速战速决，但司马懿就是不上当，把主要精力用于构筑工事，严密防御蜀军的进攻。同时，他派出间谍到蜀中散布谣言，称蜀军众将想拥立诸葛亮为帝。刘禅未必相信，但亲近他的人难免会吹耳边风，至少在投送军粮、发放军饷等方面会出现问题。
果然，诸葛亮的后勤补给出现了问题。固然，诸葛亮是个发明家，会用“木牛流马”沿崎岖山道运粮，但毕竟运量有限，不得已抢割上邽（今属甘肃省天水）的麦子。司马懿出兵保粮，获得成功，但在此次战争中名将张郃中了诸葛亮发明的连弩身亡。不过，诸葛亮终因军粮用尽退军。
