227年，诸葛亮率兵首次进攻魏国，先假意做出要从城进攻的样子，引得魏国大都督把主要军力集中在城防守，再突然出其不意地向祁山逼进，使得大军一路势如破竹，很快就攻下了魏国的安定、天水、南安等三处城池，消息传到魏国首都，举国上下一片震惊。这时，魏国皇帝曹睿启用了名将司马懿，让他领兵到长安抵抗蜀兵。
诸葛亮也知道，只有司马懿最会用兵，也只有他最了解自己的特点，他肯定会出兵攻占街亭（今甘肃庄浪东南），街亭是蜀军运送粮草的主要道路，也是蜀军退回汉中的惟一通道，如果让司马懿占领了街亭，就等于掐住了蜀兵的咽喉，这是一个战略地位极强的要道。
于是他召集将官们商量，问谁愿意领兵去把守街亭，魏延、吴懿、马谡等都抢着去，诸葛亮比较相信马谡，便让马谡率领两万多人去守街亭，又特地派了作战经验丰富的大将王平去协助他。临出发之前，诸葛亮反复交代：“街亭是我军的根本，如果街亭失守，不光战争要失败，甚至连自己的性命都要搭上，一定要千万小心！”
马谡一看到街亭的地势，便产生了轻视敌人的想法，觉得这里将是自己打败魏兵、建功立业、大显身手的好机会，在怎样守卫的问题上和王平发生了争吵，王平要在道口扎营，挡住魏军前进的道路，而马谡却要在山上扎营，一意认为从上往下攻击必定大获全胜。王平担心对方断绝水路或者用火攻，马谡不但不听，还笑话王平不懂军法，最后只让王平领五千来人在道口扎营。
司马懿来到街亭后，果然采取了围住山头、断绝水路的战术，马谡命令士兵们往山下冲锋，司马懿命令士兵们用弓箭往上射击，蜀兵死伤无数，士兵们都慌忙往山上跑，许多人竟然去投降了魏军。而王平的五千来个士兵，冲了几次也没办法将马谡解救出来，马谡只得领兵突围，街亭就这样被马谡轻易失去了。
回到西蜀以后，诸葛亮把将官们召集起来，处理这次街亭失败的事件，按军令要处死马谡。马谡承认了自己的罪过，对诸葛亮判自己的死罪心服口服，他只是向诸葛亮提出，自己的妻子儿女，请诸葛亮多多关照。诸葛亮和马谡本来关系很好，但他不愿让个人感情破坏了军中的法纪，他一面流泪，一面答应马谡的请求，保证照顾好马谡的儿女。
斩了马谡以后，诸葛亮认真检查自己的过失，觉得自己用人不当是造成这次街亭失守、全军惨败的根本原因，便向皇帝刘禅上表请求免除自己的丞相职务，降官三级，刘禅同意了诸葛亮的请求，降了他的官职，但还是让他代理丞相的事务。
