1902年11月26日生于中国湖南省衡山县寒水乡南湾村（今属衡东县），原名慎琪。1910年入私塾，1916年夏高小毕业，又在家乡读了三年私塾。1919年起先后在长沙协均中学和青岛大学读书，曾参加反对军阀和帝国主义的爱国活动。1926年秋在青岛大学预科毕业后赴广州，旋即回家乡组织农民协会，进行反对土豪劣绅的斗争。1927年5月到武昌中山大学理学院读书，加入中国共产主义青年团，任校支部组织干事，不久转入中国共产党。同年7月被派往鄂南通城从事农民运动，参与组织通城、崇阳农民武装，任党代表。这支武装在江西修水编入武昌国民革命军第二方面军总指挥部警卫团，他任特务连党代表，参加毛泽东发动领导的湘赣边界秋收起义。起义部队于9月20日集结在浏阳县文家市，罗荣桓在这里第一次见到毛泽东。起义部队后经三湾改编到井冈山。这一时期，罗荣桓历任中国工农红军（初称工农革命军）第四军的连、营、支队党代表。他作为红军第一批连队党代表之一，积极建立军队基层的共产党组织，实行民主制度，尊重爱护士兵，反对军阀作风，参与创建了人民军队的连队政治工作，由此开始了人民军队政治工作的实践。1929年底，参加中共第四军第九次代表大会（古田会议），被选为第四军前敌委员会委员。后任红四军第二纵队政治委员。1930年8月，任第四军政治委员。1932年3月，任第一军团政治部主任。在第一至第四次反“围剿”斗争中，领导部队的政治工作，同时组织部队发动群众，打土豪，分田地，筹粮款，扩大红军队伍。第四次反“围剿”后，改任江西军区政治部主任，总政治部巡视员、武装动员部部长，曾兼任扩大红军突击队总队长，领导扩红工作。1934年1月，被选为中华苏维埃共和国中央候补执行委员，获红星奖章。同年9月，任第八军团政治部主任，长征中第八军团撤销，他先后任红三军团政治部代主任、总政治部巡视员、第一军团政治部副主任。到陕北后，参加了东征战役。1936年6月，入中国人民抗日红军大学学习，并兼任培训高级干部的第一科政治委员。1937年1月，任军委后方政治部主任，7月任第一军团政治部主任。
抗日战争初期，任八路军第一一五师政治部主任。1937年9月，率师政治部和少数部队，在晋冀边界的阜平、曲阳、灵寿一带发动群众，组织抗日武装，建立抗日民主政权。1938年到吕梁山地区，与代师长陈光指挥牛城、井沟和薛公岭等战斗，保卫了黄河河防。同年秋，参加扩大的中共六届六中全会，随后任第一一五师政治委员。1939年3月初，与陈光率第一一五师师部和主力一部进入山东，参与指挥樊坝、梁山等战斗，重创日伪军。他坚决执行中共中央关于在统一战线中坚持独立自主的原则，强调团结抗日的友军和爱国进步人士，孤立和打击制造摩擦的国民党顽固派。他率领的第一一五师部队，与山东人民抗日起义武装组成的八路军山东纵队并肩作战，先后在鲁西、鲁南、冀鲁边、鲁中、滨海地区发动群众，建立抗日民主政权，发展人民武装，巩固和扩大抗日根据地。1941年8月任山东军政委员会书记。同年冬，日伪军五万余人“扫荡”鲁中抗日根据地，中共中央山东分局和第一一五师师部等领导机关被日伪军合围于沂水留田一带。他准确地分析敌情，掌握时机，出敌不意地率部向日军占领区临沂方向转移，跳出敌人重围。后又返回根据地中心地区，领导军民坚持斗争，挫败日军在山东进行的规模最大的一次“扫荡”。1943年3月，任山东军区司令员兼政治委员，第一一五师政治委员、代师长，后任中共中央山东分局书记，统一领导山东抗日民主根据地的党政军工作。他重视党的思想建设和组织建设，领导了整风运动。在抗日战争最艰难的岁月，领导山东军民进行精兵简政，实行主力部队地方化，加强部队基层建设，开展分散性、群众性游击战争，针对日军对根据地的“扫荡”和“蚕食”，提出“敌人打过来，我们就打过去”的“翻边战术”，扭转了山东抗日根据地的被动局面。1944年开始组织一系列战役，实行局部反攻，巩固、发展了山东抗日根据地。1945年指挥部队在山东进行大反攻，控制山东境内的津浦、胶济、陇海铁路，收复除济南、青岛少数城市之外的山东大部分地区。1945年6月，被选为中共第七届中央委员。
抗日战争胜利后，他率山东主力部队六万余人进军东北，任东北人民自治军第二政委、东北民主联军副政治委员、东北军区第一副政治委员兼东北野战军政治委员。他强调打破和平幻想，准备长期作战，积极贯彻中共中央的战略方针，曾提出发动群众，创建东北根据地的建议。他组织领导了东北地区大兵团作战中的政治工作。1947年在部队中推广第三纵队诉苦教育经验，增强指战员的战斗意志，提高部队战斗力。这一经验后经毛泽东批示在全军推广。在辽沈战役中，他坚决执行中共中央军委关于先打锦州把国民党军封闭在东北予以全歼的战略决策，对夺取战役胜利起了重要作用。他还曾主持组建二线兵团，为主力部队输送了大量兵员。他作为中共平津前线总前委委员和人民解放军平津前线政治委员，参与指挥平津战役，主持和平解放北平的谈判工作。1949年1月任第四野战军政治委员。6月以后被任命为中共中央华中局（后为中南局）第二书记，华中军区（后为中南军区）第一政治委员。
中华人民共和国成立后，任最高人民检察署检察长。1950年4月，任人民解放军总政治部主任，同年9月兼任总干部管理部部长。1952年领导筹建人民解放军政治学院，后兼任院长。1954年6月，任中央人民政府人民革命军事委员会副主席。1955年11月，任中共中国人民解放军监察委员会书记。他在领导全军政治工作中，强调发扬人民军队政治工作的优良传统，保证人民解放军的现代化、正规化建设，并主持制定《中国人民解放军政治工作条例（草案）》，领导“向文化大进军”，提出“系统的、联系实际的、稳步前进的”部队政治理论教育方针。他善于团结和使用各方面的干部，领导建立干部工作制度，加强干部工作建设。1955年被授予中华人民共和国元帅军衔和一级八一勋章、一级独立自由勋章、一级解放勋章。由于身体原因，1956年9月，他请求辞去总政治部主任和总干部管理部部长职务。中共中央于10月同意了他的请求。1959年9月起，中共中央军委分工他主管民兵工作，曾任人民武装委员会主任。他强调民兵工作要在地方党委领导下，围绕生产，结合中心任务进行，进一步明确了和平时期民兵建设的方向。1960年底，林彪发动了对总政治部主任谭政的批判斗争。随后，毛泽东决定，由罗荣桓复出，再任总政治部主任。20世纪60年代初，他根据实事求是的原则，强调学习毛泽东思想的立场、观点、方法，反对林彪把学习毛泽东思想庸俗化。他是中共第八届中央政治局委员，第一、第二届全国人大常委会副委员长，国防委员会副主席。
从1942年起，罗荣桓经常带病指挥作战，1946年曾切除一侧肾脏，以后长期抱病坚持工作。1963年12月16日病逝于北京，享年六十一岁。他是十位元帅中最早去世、寿命最短的一位元帅。
