到台湾后，蒋介石几乎没有可以完全信任的人，除了蒋经国之外，陈诚算是一个特例。然而，由于蒋介石深受传统伦理思想的影响，最终没有让陈诚继位，而是决定将权位传给儿子。可以说，晚年蒋介石的最大心愿，除了“反攻大陆”之外，就是传位于子。毫无疑问，蒋介石在台湾的确拥有绝对的权势，只要他不主动放手，“总统”一职非他莫属。但是，蒋介石想要把权力完全移交给蒋经国，却必将遭遇各种挑战。可以说，蒋经国的接班之路，并非是一帆风顺的。对于这一点，蒋介石心里也非常清楚。因此，在迁台之初，蒋介石就让蒋经国先后插足于党、政、军、团，在各重要部门历练，培植自己的势力。
与此同时，蒋介石也利用各种机会，为蒋经国接班扫除障碍，先后逼走陈立夫，驱逐吴国桢，囚禁孙立人。然而，在蒋介石与蒋经国权力交接之间还横着一个巨大的障碍，那就是“副总统”陈诚。陈诚毕竟不是陈立夫、吴国桢、孙立人，由于他自任台湾省主席以来，一直主持台湾事务，成效显著，对台湾稳定与发展作出了重要贡献。
陈诚出掌台湾省主席时，政治与经济各方面问题重重，金融动荡，物价高涨，学潮澎湃。为了稳住情势，安定人心，陈诚做了好几件颇具开创性的大事，如实行“三七五减租”、改革币制、粮食增产及实施地方自治等。其中，对于“三七五减租”的成效，有人曾作出总结，认为：
三七五减租使农民生活改善，农业生产显著增加，业佃纠纷减少，农地价格下跌，农民政治意识提高；使占农民中大多数之佃农，得免饥寒，农村渐臻复兴，成为台湾一大安定力量，巩固民族复兴基地，增强反共实力，其影响所及，尤为重大。
而陈诚主持的币制改革，则进一步稳定了台湾的经济和社会，为台湾的经济发展奠定了良好的基础。“三七五减租”与改革币制两项，被认为是战后台湾由贫困走向小康的起步之举。
当然，陈诚之所以深得蒋介石重用，也与蒋介石用人严守传统亲谊观念有关。蒋介石所重用的大多不是黄埔系，就是同乡。陈诚不仅具有这双重身份，对蒋介石绝对忠诚，且他不贪污、家教严谨。正因为如此，陈诚官运亨通，先是出任台湾省主席，后由他“组阁”，出掌“行政院”。1954年3月召开的“国大”一届二次会议上，由蒋介石保举当上了“副总统”。1957年国民党“八大”召开时，又由蒋介石提名，陈诚出任国民党副总裁，同时仍兼“副总统”。1960年，陈诚再度当选“副总统”。可以说，陈诚不仅在台湾的党政军拥有广泛的基础和相当的实力，而且在台湾民众中也拥有很好的政绩口碑，极有资格成为蒋介石的继承者。就连蒋介石本人也常说：“中正不可一日无辞修。”
然而，尽管陈诚不敢居功自傲，也不可能对蒋介石的地位发起挑战，但却逐渐成为蒋介石把权力移交给蒋经国的一个巨大障碍。随着台湾的稳定，陈诚与蒋介石父子之间的矛盾日益加深。
早在蒋介石组建“救国团”时，陈诚就表示反对。理由是应记取在抗战胜利后国民党内分裂为党团两大势力，不顾党之将亡，恶斗不休，搞得天下大乱的教训，不要再为个人势力的成长而另外弄一个“小国民党”。但蒋介石没有听取陈诚的意见，而是坚决支持蒋经国发展“救国团”的势力。
蒋经国任“国防部”总政治部主任后，通过政工系统加大了对军队的控制权，对陈诚的势力也产生了冲击。陈诚对于蒋经国也往往“得理不饶人”，而蒋经国自恃“太子”之尊，心中对陈诚颇为轻蔑；陈诚则个性强硬，向来就事论事，对蒋经国这后生小辈，自也不甘示弱，两人时起冲突。为了协调陈诚、蒋经国两人之间的关系，蒋介石曾于士林官邸召见二人。蒋介石曾说：“你们都是我们革命的同志，更是我最亲近的两人。如今我们退守台湾，已经十年有余，河山尚未光复，同胞犹在倒悬，你们两人若还区分彼此，明争暗斗，那我们党国还有什么希望呢？”
真正令蒋介石对陈诚失望和不满的是1958年的“行政院”改组。1957年12月，“监察院”对“行政院长”俞鸿钧提出弹劾案。不料，此事在台湾朝野引起巨大动荡。美国报纸对此大加转载报道，宣称这是国民党内部分裂的开始。而国民党内不少人乘机攻击俞鸿钧，促其下台。
对于此次弹劾风波，“副总统”陈诚竟然置身事外，令蒋介石大为光火。他在日记中说：“美国记者与台湾政客勾结利用，动摇外国视听。辞修手段、言行、风度毫无改正，令人灰心。黄少谷之自私，政客作风，其心不可问。此次监察院对俞鸿钧弹劾风潮，其最初的原因还是在中央本身有矛盾形成。”
俞鸿钧虽然在蒋介石的庇护下，躲过了弹劾，但已遭受重大打击，不得不主动请辞。“行政院”的其他成员也纷纷要求辞职。眼看俞鸿钧的“内阁”垮台在即，陈诚与黄少谷等人更是积极谋划取而代之。陈诚希望由他自己来“组阁”，出任“行政院长”，黄少谷出任“副院长”。两年之后，就是“总统”换届之时，蒋介石已连任两届，按“宪法”规定，已不可能再连任，自然会将“总统”之位让于陈诚。
1958年3月，黄少谷对蒋经国说：“陈辞修对你父亲百依百顺，又是与你父亲共事最久的党国重臣，你应该尊重他，不要与之争高低。你的治国才能，朝野钦佩，将来担大任，举国皆服。他干一届后，自然会把位子让给你，由你来干，你现在不必急。”
蒋经国将黄少谷的话报告给了蒋介石。蒋介石听后大怒，在4月14日的国民党中常会上，大骂黄少谷。
尽管如此，1958年6月30日，蒋介石仍然提名“副总统”陈诚兼任“行政院长”。然而，在“内阁”的人选上，陈诚与蒋介石父子发生了激烈的矛盾。
首先在“教育部长”人选上，蒋介石主张由上一届“教育部长”张其昀继续担任，但陈诚却不肯。陈诚认为“教育部长”必须德高望重，希望此一职务最好由清华大学校长梅贻琦出任。对此，蒋介石非常生气。他在日记中说：
辞修政治上的缺点，就是他不察邪正，好听小人细言，对人不注重其基本政策与品性学术，而在其行政业务上以定取舍，此其所以不大也。
与经儿谈晓峰（张其昀——笔者注）事。晚约晓峰来谈，其调职问题，余虽知其受北大派攻击，而遭辞修之无情打击，亦明知此为胡适等反党分子对党的重大胜利。孰知“行政院长”改组未露消息以前，此事早为胡适所悉，并以此预对晓峰示威，望其早自预备下台，此实为余所万不料及者。可知，辞修不仅不分敌我，已失党性，而其不守机密至此，殊为可叹。
上述日记表明，蒋介石最初对于陈诚在“教育部长”人选问题上的不满，还不算很严重，只是认为陈诚“不察邪正，好听小人细言”。然而，到了第二天，他从蒋经国和张其昀处得知在“行政院”改组之前，陈诚已将消息透露给“胡适等反党分子”后，其对陈诚的态度已是极为不满，并上升到了政治高度，认为陈“不仅不分敌我，已失党性”。
步入晚年的蒋介石，往往比较情绪化。一旦对某人产生了不良的感观，不仅很难改变看法，而且会愈演愈烈。果然，事情并没有结束。蒋介石在7月10日的日记中再次写道：
近日行政院改组中所发现心理上之影响：甲、辞修说话不实而取巧，令人怀疑，对其有不诚之感，此为一最大之损失，殊为辞修前途忧也。如何使之能大公无私，担负大任。乙、黄少谷只想做官，把持政务，而不顾大体。丙、张晓峰之书生态度，恩怨得失之心太重，亦令人对学者难处之感，但此实辞修不诚有以致之。
时隔一日，蒋介石对陈诚的偏见又有了新的高度。从此则日记来看，蒋介石似乎之前对陈诚抱有极大的期望，大有来日将政权交给陈诚的打算。然而，此事使蒋介石对陈诚“前途表示担忧”，对其将来能否“担负大任”表示怀疑。
更糟的是，对于蒋介石的态度，陈诚似乎没有丝毫察觉，他甚至在“行政院副院长”的人选上继续与蒋介石对着干。早在7月7日，蒋介石就指示前来汇报“行政院”各部会人选的陈诚，“关于副院长与外交人选，以王云五与黄少谷调任之”。但陈诚并不想让王云五做副手，而是想让黄少谷出任副院长。为此，蒋介石更是生气。7月10日，他要张群转告陈诚，要他“速定副院长王云五继任”。
然而，不知是陈诚过于高估自己的实力，还是陈诚认为蒋介石对他信任不二。迟至7月13日，陈诚仍然没有决定提名王云五出任副院长，而是再次找到蒋介石，希望由黄少谷出任。对此，蒋介石在日记中说：
十时，辞修来见，谈行政院人事。彼对王云五任副院长事并未有新行动，反来征求我意见。其意在黄少谷，但要我决定，而陈雪屏仍任秘书长。余认为，其对余不应如此诈伪不诚也，殊出我意外。三十年来苦心培植，不惜他人怨恨与牺牲一切情感而扶植至今。其结果如此，伤心极矣。此为余平生对人事干部所最失败、痛心之一次也。
此则日记表明，蒋介石对陈诚在“行政院”人选上的“固执”表现出了极大的愤怒，认为陈诚欺骗他，有负栽培，是他“平生对人事干部所最失败、痛心之一次也”。值得注意的是，蒋介石在这里特意提到，为了扶植陈诚，他甚至不惜牺牲一切情感。也就是说，之前蒋介石的确是有意将权力交给陈诚，而不是蒋经国。但这件事情之后，蒋介石改变了态度，一心一意要传子了。
在7月14日公布的“行政院”部会名单上，蒋经国在政务委员中名列第四。这是蒋经国迁台后第一次进入“政府”要职。之前，蒋经国虽然担任中常委、“国防会议”副秘书长和“行政院国军退除役官兵就业辅导委员会”主任委员，但在“政府”内尚无适当的位置。
依据“宪法”规定，“总统”的任期为六年，得连选连任一次。蒋介石自1948年出任“总统”，1954年连任，到1960年刚好任期届满。这就意味着蒋介石依法必须让贤。然而，蒋介石是不肯轻易放弃权力而退位的。早在1958年底，台湾省议会就吁请蒋介石第三次出选“总统”，蒋介石也极想再度连任“总统”。然而，蒋介石的连任问题，却遭到了外界的反对，其中《自由中国》反对最为激烈。《自由中国》先后刊登了《蒋总统不会做错了决定吧》、《不要再玩弄政治霸术——告国民党当局》等文章，明确表示“反对蒋介石三任总统”。甚至连胡适也公开反对蒋介石“修宪”与参选“第三届总统”，他通过张群、王云五、黄少谷等党政要人向蒋转达意见，反对蒋连任“总统”。他说：
明年二三月里，国民大会期中，是“中华民国宪法”受考验的时期，不可轻易错过。
为国家的长久打算，我盼望“蒋总统”给国家树立一个“合法的、和平的转移政权”的风范。不违反“宪法”，一切依据“宪法”，是“合法的”。人人视为当然，鸡犬不惊，是“和平的”。
为蒋先生的千秋万世盛名打算，我盼望蒋先生能在这一两个月里，作一个公开的表示，明白宣布他不要做第三任“总统”，并且宣布他郑重考虑后盼望某人可以继他的后任。如果国民大会能选出他所期望的人做他的继任者，他本人一定用他的全力支持他，帮助他。如果他作此表示，我相信全国人与全世界人都会对他表示尊敬与佩服。
如果国民党另有别的主张，他们应该用正大光明的手段明白宣布出来，决不可用现在报纸上注销的“劝进电报”方式。这种方式，对蒋先生是一种侮辱，对国民党是一种侮辱，对我们老百姓是一种侮辱。
然而，对于胡适的劝告，蒋介石不仅听不进去，反而对胡适避而不见，并在日记中对胡谩骂。
与辞修谈话。彼以胡适要我即作不连任声明。余谓，其以何资格言此？若无我党与政府在台行使职权，则不知彼将在何处流亡矣。
胡适无耻，要求与我二人密谈选举总统问题，殊为可笑。此人最不自知，故亦最不自量，必欲以其不知政治而又反对革命之学者身份，满心想来操纵革命政治，危险极矣。彼之所以欲我不再任“总统”之用意，完全在此，更非真有爱于辞修也。因之，余乃不能不下决心，而更不能辞也。以若辈用心不正，国事如果操纵在其手，则必断送国脉矣。
由于胡适、王世杰与陈诚关系密切，而蒋介石的连任，又直接关系陈诚能否继任的问题，因此，蒋经国等人怀疑陈诚与《自由中国》串通一气，阻止蒋介石连任。而胡适等人则认为，蒋介石之所以要坚持“三连任”，可能是出于蒋经国的主意。因此，王世杰向陈诚建议，主动向蒋介石辞去“副总统”来阻止蒋“三连任”。
然而，善于玩弄政治的蒋介石召开“国民大会”对《动员戡乱时期临时条款》进行了修改，规定：“动员戡乱时期‘总统’‘副总统’得连选连任，不受‘宪法’第四十七条连任一次之限制。”这样，蒋介石不但可以“三连任”，而且可以无限制地连任。至此，陈诚继任“总统”的希望彻底破灭。
虽然蒋介石再次提名陈诚兼任“行政院长”，但陈诚已是心灰意冷，并以身体不适为由多次向蒋介石请辞。1953年6月25日，陈诚再次向蒋介石提出辞呈：
窃职于前年冬及去年春养疴期间，曾沥呈病体不支，吁恳钧座准予辞去“行政院长”兼职，迭蒙温谕慰留，旋以规划动员反攻，不得不勉强销假视事，至今又复一载有余。
自职奉命再度兼理行政院院务，当国步艰屯之会，五年以还，虽无日不在忧勤惕励之中，终以德薄才轻，愧鲜尺寸之效。职每思数十年来，渥承钧座提携教诲，分宜肝脑涂地，以报厚恩，惟职残躯年来一遇任何事故，即易感疲劳，且心情不宁，或于极力存省之余，犹有时未能悉去嗔念，……敬恳鸿慈准辞兼职，另派贤能接替。
然而，蒋介石只准其请假，不准其辞职。直至1963年国民党“九大”后，蒋介石才决心改组“行政院”。是年12月，蒋介石向国民党中常会提出了换人的议案：
行政院兼院长陈诚同志，主持政务，卓著勋劳，惟以久任繁剧，体力渐感不胜，曾迭次申请辞职，均经恳切慰留，最近以健康关系，再度恳辞，为期陈诚同志能获较为充分的休养机会，俾能迅速恢复健康，爰拟勉徇所请，准予辞去“行政院长”职，并提名严家淦同志继任“行政院长”。
蒋介石推出严家淦继任“行政院长”，可谓用心良苦。因为严家淦是一位技术官员，虽然任过台湾省主席，但他在国民党内无派系及历史渊源，对权力较为淡泊，不会影响蒋介石既定的传子方针。后来的事实也证明，蒋介石的选择是正确的，严家淦为蒋介石父子的权力交接非常成功地扮演了承先启后的角色。
1965年3月5日，陈诚在台北病逝，终年68岁。
