国共内战时期，国民党在面对军事失利与经济失序等问题外，不得不面对国统区各地学生的“反内战、反饥饿、反迫害”运动。席卷全国的学生罢课、请愿、示威、游行，在国统区掀起了一浪又一浪的反蒋运动，动摇了国民党的统治基础，被共产党誉为反蒋斗争的“第二条战线”，这也是国民政府迅速垮台的一个重要原因。其实，蒋介石对于青年工作并非不重视，早在抗战时期他就曾组织过三民主义青年团，以组织训练青年，为国民党输入新血液。然而，三青团未能成为新血轮，反而给国民党带来了新的派系与矛盾。
国民党败退台湾后，蒋介石在检讨大陆失败教训时认为，“我们在大陆失败的最大症结就是在学校教育，尤其是学校教育中不注重生活教育和人格修养教育”，致使青年“迷失革命方向，减少进步的力量”，造成“国家失去了青年，青年也失去了国家的悲剧”。为此，他极力宣扬“国家需要革命的青年”，“青年需要革命的教育”。1950年初，蒋介石计划“召开青年劳动反共救国大会，成立全国性青年团体，发动青年反共斗争”。为了加强对青年的领导组织工作，蒋介石将这项任务交给了蒋经国。
在蒋经国的筹划下，1950年4月9日，台湾大学、台师大、行政专校、台北工专等学校的5000余名学生在台北中山堂举行春季晚会，大家一致通过筹组“中国青年反共抗俄联合会”。29日，“中国青年反共抗俄联合会”正式成立。该会有团体会员单位46个，经推定其中15个单位组成干事会，置总干事一人，由蒋经国担任。干事会下设总务、海外敌后、服务、联络、新闻、秘书六组，另设战时工作队、艺术工作队及奋斗周报社三个部门，从事军训、“劳军”、宣传、动员等工作。
1951年，蒋介石指示国民党中央改造委员会，要求将发展青年和妇女，建立青年反共先锋队和妇女反共爱国会，作为1951年党的重心工作。为此，国民党迅即在各大专院校重建国民党组织，加紧吸收青年。为了统一吸收青年，加强对青年“政治思想教育”，坚定青年“反共抗俄”的信念，蒋介石下令由“国防部”总政治部负责筹建“中国青年反共抗俄救国团”（以下简称“救国团”），具体负责者为蒋经国的助手胡轨、李焕等人。
1952年1月31日，国民党中央改造委员会第288次会议通过了由胡轨等人拟就的《筹组“中国青年反共抗俄救国团”原则》。会议决议规定：“组织该团之目的，在团结全国优秀青年，增进其智能，锻炼其体格，训练其工作技术，培养其爱国精神，从事各种战时工作。其中心任务，在反攻前参加各种训练，从事社会服务，协助文化宣传、社会调查，推行政令，以及发动劳军、从军及总动员运动；反攻时协助军队担任运输、救护、情报、通讯、组训民众、整理户籍、肃清‘匪谍’、建立社会秩序以及有关战时工作；光复后协助政府担任教育、地方自治、土地行政以及各项建国复兴工作。”决议还规定：凡高中以上学生一律参加，社会青年在16岁以上25岁以下合乎规定标准者参加；对其应注重政治训练和军事技术训练，“其领导干部除专门人才外，应就原有教育行政系统中，选拔本党优秀而富有领导经验之同志担任；本团属于政府，本党以党团方式领导其活动”。这次会议确定了“救国团”在平时和战时的任务、基本成员和干部组成，完成了“救国团”建立的前期准备工作。
3月29日，蒋介石在第九届“青年节”纪念之日，发表《为成立“中国青年反共抗俄救国团”告全国青年书》，正式宣告组建“救国团”。他在文告中说：
今天是反共抗俄复国建国的时代，国民革命的任务，既有赖我全国青年，作更广大的结合，更坚强的组织，为了有效号召，并正确领导我全国青年，使能普遍的展开第三次的青年大结合，我现在已决定成立“中国青年反共救国团”的正式组织，以适应爱国青年的共同要求，并将其纳入统一的组织之中，使全国青年在反共抗俄总动员运动的口号之下，努力推行经济的、社会的、文化的、政治的全面改造，尤其是“明礼尚义、雪耻复国”的文化改造运动和“敦亲睦族、勤劳服务”的社会改造运动，都要以青年为主力，为前导。我们要知道，在这个总动员的运动中，厉行战时生活，转移社会风气，发扬革命精神，提高科学技术，乃是建设台湾、光复大陆的有力保证，而且这是时代赋予中国青年的责任。
1952年8月1日，蒋经国等人在北投复兴岗成立了“救国团”筹备处。10月3日，“救国团”第一次团务指导委员会议在复兴岗团部召开，被举为指导委员的张其昀、郭寄峤、周至柔、谷正纲、陈雪屏、钱思亮、沈昌焕、程天放、蒋经国等政党要人出席了会议，并通过了“救国团章程”。“章程”规定该团宗旨为“遵照‘总统’反共抗俄爱国青年大结合的伟大昭示而成立，在三民主义精义指导下，加强革命信念，增强革命知识，学习战斗技能，锻炼坚强的体魄，打倒苏俄帝国主义，彻底消灭朱毛‘匪帮’”。“章程”规定该团信条为“信仰三民主义，拥护领袖，服从命令，严守纪律，自力自强，实践力行，互助合作，服务牺牲”。会议报请蒋介石同意后，决定将“抗俄”两字取消。
10月31日，也就是蒋介石66岁生日那一天，“中国青年反共救国团”成立大会在台北中山堂举行，会议由“行政院长”陈诚主持，团务指导委员张其昀、蒋经国、吴国桢、黄少谷、谢东闵等参加。“救国团”团长由蒋介石亲自担任，总团部主任由蒋经国担任，副主任分别是胡轨、邓传楷。总团部设有秘书室，由蒋经国的亲信李焕担任主任秘书。另外，还设有组织训练、文化教育、青年活动、总务四组，后来这四组一室又演变成为七组、三室、一会。它们分别是：社会青年工作组、学校青年服务组、海外青年服务组、娱乐活动组、青少年问题辅导组、海外工作组、大陆工作组；研究发展室、事业企划管理室、会计室；团务指导委员会。担任这些部门领导的大多是蒋经国在大陆时期所罗致的亲信。在总团部之下，还建立了各级相应的组织，如台湾省设有分团，县市有总队，县以下地区有大队，大中学校也视人数多少而成立总队或大队，甚至在部分国外华侨青年中也成立了分支机构。
