蒋介石逝世后，蒋经国一面亲自布置父亲的灵堂，一面向国民党中常会提出辞呈，要求辞去“行政院长”职。他在辞呈中说：“经国不孝，侍奉无状，遂致总裁心疾猝发，遽尔崩殂，五内摧裂，已不复能治理政事，伏恳中央委员会矜此孤臣孽子之微衷，准予解除行政院一切职务，是所至祷。”
4月6日清晨7时，国民党中常会召开临时紧急会议，讨论蒋介石去世后的政局及人事安排。会议最后决议：“全党同志，敬谨接受总裁遗嘱，并愿率全国军民，共同以反攻复国之决心，团结奋斗，完成总裁遗志”，并依照宪法推举“副总统”严家淦继任“总统”。会议还讨论了蒋经国的请辞案。谷正纲发言表示，就中国固有道德而言，蒋“院长”经国请辞，他个人深表同情，但在国家当前情况下，“亟须蒋院长继续处理政务，因此建议常委会慰留，并吁请全党同志、全国同胞更积极支持蒋院长”。严家淦也立即表示支持蒋经国，并希望大家都支持他。会议一致决议恳予慰留，并要蒋经国“效死勿去”。
对国民党中常会“效死勿去”之议，蒋经国发表谈话称：“经国请辞行政院长职务，顷经中央常务委员会议责以‘效死勿去’之义，敢不衔哀受命，墨绖从事，期毋负于全党同志与全国军民之督望。”
他在日记中说：“余以国难当头有待奉献，以完成父亲之遗训和遗志，决定照中常会之决议，继续留任。此即以孤臣孽子之心，以报党国。”
按理说一位当政者病逝后，围绕着权力继承问题，必然会有一番争论与争斗。然而，这种状况在蒋介石病逝后却不是太明显。因为蒋介石的病故，对于台湾政坛的震动并不是太大，权力真空并没有出现，因为新一代的政治强人早已确立，蒋经国的接班布局也早已安排妥定。蒋介石逝世后，“国防部长”高魁元、“参谋总长”宋长志代表军队立即向蒋经国宣誓效忠，其实，他们本来就是蒋经国的亲信。政工系首领王升，追随蒋经国多年，此际将他升为“总政治部主任”，原主任罗友伦也属蒋经国嫡系，已调任联勤总司令。擅离职守的台湾警备司令尹俊被撤职，换上了蒋系人马汪敬煦。
政局的发展正如1971年蒋介石在日记中安排的那样，严家淦出任“总统”，蒋经国出任“行政院长”兼三军总司令，党务集体领导。
现在唯一没有确定的，就是有关党的最高领导人选的问题了。
1975年4月28日，国民党召开第十届中央委员会临时全体会议，讨论党的领导人问题。会中，严家淦等20位中常委联署提案，“建议中央委员会设主席一人，并为常务委员会之主席，一致公推蒋常务委员经国担任”。与此同时，中央委员刘季洪等74位中央委员联署：“保留党章所载总裁一章，借申哀敬，并为永久之纪念；中央委员会设主席一人，并公推蒋经国同志担任。”
国民党元老也纷纷发表意见，声称：“本会赞同严常务委员等，以及中央委员的意见，应该定为本党中央委员会主席，总裁称保留于党章之内，作为对总裁的永久崇敬与纪念。”“关于本党领导人的人选问题，推举蒋经国同志担任党中央委员会主席。”“因为蒋同志具备了坚忍强毅的领导能力，和充沛的革命精神，尤其是他这两年担任行政院长卓越的政绩，获得海内外全国同胞，以及国际友人的一致支持和赞佩，由蒋经国同志领导本党，必能使党的力量坚实强大，反共复国的使命得以早日完成。”
大会将两案合并讨论，一致通过，决议于第十一次全代会时，提请追认，并修改党章。决议写道：
今总裁不幸逝世，全党中央之领导，亟须力谋强固，以肆应瞬息万变之国际局势与共产“匪党”之奸谋诡计，爰特根据党章之精神与本党中央之往例，决议中央委员会设立主席一人，并为常务委员会之主席，综揽全般党务，以适应现阶段革命形势之要求，实属迫切需要。
蒋经国同志有恢宏之革命志节，卓越之领导才能，自就任“行政院长”以来，肆应国际危机，则处变不惊；推进国家建设，则规模宏达；其坚决反共之决心，为常会所全力支持；其亲民爱民之作风，更为民众所拥戴。……
中央委员会主席即为常务委员会主席，蒋经国同志实为最适当之人选，亦为全党同志一致之公意，决议：“一致通过”，并希蒋经国同志勉承艰大，益坚百忍，领导全党，早日完成总裁“达成国民革命之责任”的遗命。
当晚，国民党中常会秘书长张宝树亲自前往慈湖，将大会的决议告诉蒋经国。对于被推举为党主席的感受，他在日记中说：“吾父逝世，对国对民，已有所交代。苦为儿者，何德何能，乃须担负继起之重责，今日有功之‘党国’元老，在台者甚多，经国何敢担当此任，望我父在天之灵助儿从事于艰苦的革命工作。”
29日，正是蒋经国的66岁生日。天还未亮，蒋经国已来到蒋介石的灵前行礼，“深怀父母之养育之恩”。午餐后，宋美龄派人送来一封信，信中写道：
经国：
今天又届你的生辰，往年我都为你设席与家人共聚，一享天伦之乐，此次自（你）父亲撒手离我你之后，我们再也无此兴致作任何设宴之举。今晨我特别起得早，为你祷告，祈求上帝给你智慧、健康和毅力，并特别赐福予你，这是我今年以此为你寿。
母字
宋美龄的信让蒋经国“感动无已，泣涕甚久”，“此为有生以来第一年失去父亲过生日，回首往事，悲痛无已”，“余今已六十有六岁，在过去的岁月中，有负父亲期望之处多矣。从今以后，自己要对自己负责，不可再有错失，因误个人之事小，误国家和大众之事大”。
5月5日，为蒋介石守灵一月的蒋经国以“国难当头，大责任身，不得不以‘衔哀奋励、誓竟全功’之心情，暂离父灵”，开始工作。他说：“开始工作了，前途艰险，是意料中之事，要以死里求生的精神，来为国尽忠，为党牺牲，为民服务。”
5月7日，蒋经国第一次以国民党中常会主席身份主持中常会，他在会上表示：“经国承临时中全会之命，接受征召，……追随中央评议委员、中央委员及全党同志之后，以孤臣孽子之心，为贯彻本党革命任务而效命致力。……经国誓当以‘国家兴亡为己任，置个人生死于度外’，开诚布公，坚守原则，千磨百劫，益励此心。”13日，他又召集国民党中央党部各单位主管人员会议，提出国民党必须坚持三个原则：“实行三民主义，贯彻总理和总裁的主张；本党体制永远是一个革命民主政党；现阶段的政策，要反共到底，争取复国建国的成功”，并对党员干部提出了三个要求：“不要滥用权力，使人惧怕；不要吸收仅为私人利益，不为实行主义、服务国家的人入党的党员；要时刻警惕，本党是负有革命责任的政党，不是一个施小恩小惠的普通团体。”
1976年11月12日，国民党在台北召开第十一次代表大会，大会追认了第十届中央委员会临时全体会议通过的决议，正式推举蒋经国为国民党中央委员会主席。至此，国民党的领导体制已由个人集权制过渡到了委员制。正式当选为党主席的蒋经国提出要废除个人崇拜，强调自己只是一个党员。他在国民党“十一大”闭幕式上声称：
以后对我个人，不要再讲什么“英明”、“拥护”、“伟大”、“导师”之类的颂词，在地方党部也不要再讲。
中国国民党只有两位领袖，没有第三位。一是总理，一是总裁。此外大家都是党员同志，都是总理、总裁的信徒！我个人仅是中国国民党的一位党员，一个革命队伍的战斗兵！对“党国”前辈，以晚辈自居；对全体同志，以弟兄同志自居；愿追随我们“党国”先进，愿与全党同志共患难，同生死，尽革命应尽之责任。
