1923年1月，孙中山和越飞发表联合声明后，孙中山决定实行“联俄、联共、扶助农工”政策。这一决定，不仅使中国革命发生了翻天覆地的变化，也使苏俄在东方找到了一个革命的盟友。然而，1925年3月12日，孙中山在北京逝世。
孙中山的逝世，顿使苏俄在中国失去了一位最亲密的朋友。为了让广州国民政府继续执行联俄政策，苏共领导人决定创办一所学校，以孙中山为旗帜，招徕大批中国先进青年，用马克思主义理论将其培养成为中国共产主义群众运动的干部，培养成中国革命的布尔什维克干部。莫斯科中山大学就是在这种情况下应运而生的。
当时，苏联驻广州国民政府总顾问鲍罗廷被称之为广州国民政府的“保姆”。国民党中央的许多重大决策都要经过他，莫斯科中大在中国的招生就是他一手操办的。1925年10月7日，鲍罗廷在国民党中央政治会议第66次会议上正式宣布在莫斯科建立孙中山劳动大学，帮助中国国民革命培养干部，建议国民党选派学生去莫斯科中大学习。这个提议很快获得一致通过，并成立了由谭延闿、古应芬、汪精卫组成的招生委员会。
选派工作在广州、上海、北京、天津等大城市进行，消息一传开，不少青年踊跃报考，考中大一时成为革命的时髦象征。考试在广东大学举行，考题仅是写一篇题为《什么是国民革命？》的文章。由于广东是当时革命的中心，因此报名者多达1030人。经严格挑选，最终录取310名学生。其中，广州180名、上海50名、京津地区50名，鲍罗廷又特别推荐30名。鲍罗廷推荐的大都是国民党要人的子女，如蒋介石之子蒋经国、邵力子公子邵志刚、李宗仁内弟魏允成、张发奎弟弟张发明、邓演达弟弟邓明秋、于右任女婿屈武等。蒋介石对蒋经国留学苏联的态度是肯定的，他在10月1日的日记中对蒋经国留学苏联表示完全赞同并寄予很大希望。
1925年10月25日，蒋经国与第一期赴苏留学生从上海乘苏联货轮出发，到达海参崴后，改乘火车前往莫斯科。在旅途中，蒋经国并没有感到孤单，他说：“船上一共有90位学生分成几个小组，一起开会、聊天、读书、用餐，大家都觉得很愉快。”也就是在此次旅途中，蒋经国细看了布哈林的《共产主义ABC》，这是他所看的第一部共产主义思想的书籍。经过25天的长途跋涉，蒋经国等人终于在11月底抵达莫斯科。
莫斯科中山大学校址位于莫斯科河西岸的瓦尔洪卡大街16号，是一座三层建筑。这座古建筑是十月革命前一个俄国贵族的官邸，屋顶浮雕华美，室内吊灯堂皇，每一间房屋都高大敞亮，一个大厅已改成礼堂，整座宅院已改成具有一定规模的学校。校部内有各种学习、办公设施，以及花园、篮球场、排球场、溜冰场。宿舍室内卫生、暖气、床褥等设备齐全，生活很舒适。毯子、枕头、被单，都是一式的，由学校发给，每星期更换二次。学校还给每位学生一套西装、一件外套、一双皮鞋、毛巾、浴衣、手帕、衬衫，以及日常生活必需品。学校的伙食、学生的着装、日用品、生活补贴均远远高于当时苏俄的一般标准。“八点钟早餐。每个学生有一本饭票，每月发一本。每日饭票分早午晚饭三张。每人可用饭票到发饭处领饭。饭菜并无优劣之分，完全一律。今天早餐是面包、白脱油、香肠炒蛋。”而苏联学生的早餐则是“一个黑面包，二个洋芋艿”，蒋经国在日记中说：“我看了非常自愧。我是外国人，不花一个钱，在他们的国内吃得这样好，而他们自己的大学生，却这样吃苦。”
中山大学的办学宗旨是为中国革命培养、训练干部，因此它不同于普通的大学，而更近似于干部培训班。莫斯科中大学制二年，中国学生来到这里的重要任务是学习。学生首先要学习俄语。第一学年，俄语学习时间特别长，每天为四课时。其他课程为：政治经济学、历史、现代世界观、俄国革命理论与实践、民族与殖民地问题。第二学年的课程为中国革命运动史、世界通史、马克思主义哲学、列宁主义原理、经济地理等。中山大学还有一门重要课程就是军事训练，该课程每周一天，主要内容为步兵操典、射击、武器维修等。学习的方法是教授先授课（用俄文讲，有中文翻译），然后学生提问、教授解答、自由讨论和辩论，最后由教授作总结。
蒋经国在学习上十分刻苦，不仅重视俄文的学习，对西方革命有关的科目与政治学、经济学也下了一番苦功。由于蒋经国的刻苦努力，他进步很快。并相继在学生刊物上发表了几篇文章，其中《中国的展望》和《中国北伐一定成功》是他认为写得不错的文章。入校刚刚两个月，当时年仅15岁的蒋经国就引起了学校苏共党支部的重视，批准他加入共产主义青年团，不久又被转为预备党员。1926年下半年，蒋经国被邀请参加莫斯科一个群众大会。他在大会上以《中国北伐的目的及其最后的成功》为题，用俄文向大约3000人发表演说。这是他首次作公开演说，并获得成功。此后，他多次被推荐为中山大学的代表，参加各种集会，发表演说，“每次都受到热烈欢迎”。
1927年3月21日，上海工人举行第三次武装暴动，支持当时正向上海挺进的国民革命军，并取得胜利。上海这个中国最大的经济和工业中心落到了国民革命军手中。消息传到莫斯科后，中山大学苏共党组织立即召开会议，高喊“上海是我们的了”，并决议向北伐军总司令蒋介石和上海工人发电报，以示祝贺。散会后，中山大学的学生们冲出校门，上街游行。成千上万的莫斯科居民也纷纷加入到游行的队伍中来。蒋经国后来回忆说：“群众集会的激动场面，如今仍然历历在目。”
