鲁特的报告立刻在众多的陆军改革者中间博得了好感并引起了巨大的共鸣。对此，鲁特深感欣慰，信心大增。为了尽快弥补自己缺乏军事专业知识的缺陷，鲁特在副部长亨利·科尔宾和助理副部长威廉·卡特的辅佐和影响下，开始认真研究外国军事体制和美军政策方案。他首先研究了道奇调查团关于美西战争的几本报告，还阅读了英国军事评论家威尔金逊的着作《军队之首脑》，该书盛赞德国的总参谋部，极力主张此类参谋部经过改动完全适用于议会制的民主政体。与此同时，他还饶有兴趣地通读了已故着名将领厄普顿的全部手稿，对其中的那些比较具体的改革方案，诸如三营制的团、废止死板的论资排辈的晋升制度、建立德国式的总参谋部等等，尤为赞赏。最后，他以政府文件的形式出版了厄普顿的手稿，并为它写了一篇相当精彩的前言。此举，再一次在美国职业军官中引发了新一轮的“厄普顿热”。
厄普顿自从1884年自杀身亡后，20多年来，他的理论观点一直在陆军军官中广为流传，深入人心，凡读过厄普顿着作的职业军官，几乎都接受了具有效能的德国式制度。现在，鲁特公开祭起厄普顿主义的理论“法宝”，无疑为他自己赢得了更多的支持和同情。
经过一段紧锣密鼓的准备工作，鲁特部长胸有成竹地朝着建立参谋部的目标稳步前进。首先，他在不同场合放出口风，断言自己能够劝说国会彻底取消陆军司令这一不伦不类的职位，而代之以总参谋长一职，从而结束高级指挥机构政出多门、互相倾轧的历史遗留问题。这样，总参谋长就能成为陆军部长的参谋长，而作为总统文职代理人的陆军部长就可以获得宪法所规定的权限，而且必定能经常听到内行的建议。参谋长一职再也不必像和平时期的陆军司令那样，仅以资历深浅获选，国会可以授权陆军部长任命他所信任的人。
随后，鲁特对这一问题的研究日益深入，其表述也越来越清晰。他明确主张，参谋长将领导总参谋部，该部负责计划工作，制订能应付一切突发事件的战争计划，确保所有必需物资的供应。他说：“我们的现有体制不能确保形成一个指导性的首脑机构顺利进行工作，而这种指导性的首脑机构是任何军队所必需的。”总参谋部将成为这种首脑机构，它既非“执行”机构，亦非“行政”机构，而是一个制订计划并监督计划实施的机构。根据德国的做法，总参谋部要同从事战争研究的高级院校及陆军学院进行密切的合作。为了彻底改变过去普遍存在于旧参谋机关军官之中的那种愚昧可笑、与世隔绝的状态，鲁特的解决办法是：
部队作战军官和机关参谋军官，包括总参谋部的军官和旧参谋机关的军官，应该进行定期轮换。
鲁特的设想虽然切中时弊，具有很强的时代感与针对性，但真要实行起来却阻力重重。因为这一方案伤害了旧参谋机关的既得利益和特权地位，必然招致这些机关的反对。况且机关各部门主管长期在华盛顿供职，几乎每人背后都有一个势力强大的关系网，官官相护，根深蒂固。尤其是那位桀骜不驯的迈尔斯将军，从一开始就把这一方案看成是对他显赫地位的一种攻击，如果对他照顾不周，他会再次闹得不可开交。更令人忧虑的是，尽管公众舆论一直要求陆军部进行改组，但建立总参谋部的方案却极有可能被民主党的反帝国主义分子加以利用，成为他们攻击欧洲式军国主义的把柄。
为了缓和一下对立面，鲁特不得不采取了谨慎小心和迂回曲折的步骤。
1901年11月27日，他以例行命令的形式宣布设立陆军大学委员会，规定该委员会的任务是促进陆军教育和研究军事政策，从而在名义上去掉了容易招致攻击的总参谋部式的计划制订工作。
该委员会由5名短期任职的军官组成，设有工兵主任、炮兵主任、军官学校校长、利文沃思堡学校校长等职，实际上已具有了总参谋部的雏形。在鲁特的直接领导下，委员会分别研究了规模为2.5万人、5万人、15万人或25万人的军队所需的编制和装备，探讨了改进陆军后备队的问题，并在大张旗鼓地倡导建立常设总参谋部这一思想方面发挥了重要作用。
经过一段时间的投石问路，到了1902年2月，鲁特觉着火候差不多了，终于向国会提出了正式建立总参谋部的提案。随后，赞成和反对双方围绕这一问题展开了长达1年之久的反复较量和激烈争执。
机关各部局果然像鲁特预料的那样，充分施展它们在国会的影响来阻挠这一提案，迈尔斯将军则不但认为自己受到了侮辱，而且拉开架势进行反抗。在此之前，他就曾经阻挠过鲁特合并全国各地陆军营地的工作，为此博得一部分国会议员的感激，因为这些人不愿意看到那些星罗棋布的驻防区给他们各自的地盘所带来的好生意就此完结。与此同时，迈尔斯还风尘仆仆地访问了菲律宾，回来后发表了一份报告，为那些一直揪住驻菲律宾美军小辫子不放的人提供了不少新的证据。就这样，迈尔斯纠集了一批对陆军的任何改革都持怀疑态度的人，同他们结成了同盟。当他来到参议院军事委员会为总参谋部提案作证时，他对自己过去数十年戎马生涯作了一番精心的渲染，以争取在委员会中居多数的内战时期老军人的同情。他对总参谋部进行正面攻击的一个主要论点是，他认为这项计划最适用于旧世界的君主制度，而同一个现代民主政府却势同水火，格格不入。
对此，鲁特毫不示弱。他想出了一个相当聪明的反击对策，就是把大名鼎鼎的斯科菲尔德中将、梅里特少将等几位军队元老请到委员会，因为这几个人的战绩和阅历比迈尔斯更为辉煌，而且都不遗余力地支持总参谋部提案。
这几位德高望重的老将一出马，果然一举压住了迈尔斯的狂傲气焰。鲁特趁热打铁，紧接着又在1902年度报告中集中力量来阐述和扞卫他的方案。经过这一番较量，再加上现有的指挥体系本来就有明显的缺点，国会终于被说服了。随后，在院外活动的老手道奇将军的斡旋、疏通下，机关各部局也只能作出让步。
于是，国会终于在1903年2月14日表决通过成立总参谋部，是年8月，正是迈尔斯将军退休一周之后，总参谋部宣告成立。
新的法律用参谋长取代了总司令的职位，该职位每4年轮换一次，并配有一个由45名军官组成的参谋部。参谋部的军官也要定期轮换，一部分人在华盛顿供职，另一部分人则在陆军地区性司令部中工作，以便对野战部队实施监督。其具体职责包括：改进军官教育、野外演习、应急计划、情报搜集与分析、战术编组和理论上的动员计划等等。这一切都体现出了鲁特部长的本意，即总参谋部是“一个军队的首脑”，它不应卷入陆军的行政管理事务，应该进行计划和指导，而不是去具体操作。
尽管法令只赋予参谋部对陆军各部局进行监督和协调的权力，而没有按鲁特建议的那样把各后勤局也合并进来，但它一经建立，还是给陆军战时动员组织的改进带来了立竿见影的效果。
经过几任参谋长的艰苦努力，到第一次世界大战前几年，参谋长已经成为在总统和陆军之间作为专业咨询和发号施令的主要途径。
如果说陆军的“首脑”需要新鲜血液，那么它的身体-用于进行未来战争的战术部队则需要更多的肌肉。这一点，鲁特同样念念不忘，并把它作为整个改革计划中的一项重要工作。
还在国会通过总参谋部法案之前，鲁特就同来自俄亥俄州的众议院议员查尔斯·迪克一起，共同修改了沿用已久的《民兵法》，并促使国会于1903年1月颁布了这项被称为《迪克法》的新法律。
《迪克法》消除了长期以来围绕着“民兵”一词造成的混乱。
法令认可两类民兵：受联邦和州双重控制的基干民兵（国民警卫队）和未经组织起来的18～45岁的男性民众。前者的连和团被定为“建制民兵”，后者在紧急状态下对国家和州承担军事义务。
为了使这支作为正规陆军后备队的建制民兵具有更大的实用价值，政府免费向国民警卫队配发武器和装备。国会的年度拨款过去只限于购买武器和某些专用装备，现在则可以用来购买一般军需品。为了维持国民警卫队的地位和联邦的资助，国民警卫队各部队每年至少要进行24次操练或打靶练习，再加上不少于5天的夏季野营训练。警卫队各部队还得接受正规军官和警卫队军官的定期检查。正规陆军还将派出军官到各州去指导警卫队的工作。当国民警卫队同正规陆军进行合练时，可以领到联邦津贴和伙食费。国民警卫队的军官现在也有资格进利文沃思堡陆军学校或陆军军事学院，在这些院校学习时，他们同样可以领取联邦津贴和伙食费。
另外，《迪克法》规定总统可以征召警卫队服役9个月而不是以往的3个月期限，而且当9个月服役期限结束时，国民警卫队可以作为志愿部队继续为联邦服役。在这种情况下，被接受的国民警卫队部队可以有自己的军官。
如此一来，不仅使国民警卫队——国家的主要国防后备力量的地位、待遇和装备有了相当大的提高，而且也使正规陆军在对警卫队训练和组织方面加强了控制。这一点在以后的两次世界大战中都被证明具有十分重要的意义。
在进行上述工作的同时，鲁特还着手扩充现有的陆军，改进陆军装备和处理殖民地的问题。他本人当初之所以被召到华盛顿，本来就是为了解决殖民地问题。他到职后不久，菲律宾人的起义就迫使联邦志愿团队的征兵达到了3.5万人的法定限额，加上麦克阿瑟的正规陆军，总兵力已达7万人之多。尽管如此，人力仍不敷使用。鲁特只得去说服国会，让他们认识到为了处理殖民地问题，需要坚持不懈地扩充军队。1901年2月，国会同意将正规军的25个步兵团扩充到30个，骑兵团从10个增加到15个。长期以来由野战炮兵连和要塞炮兵连混合编成的不正规的炮兵团予以解散，以便组建由30个野战炮兵连和120个海岸炮兵连编成的炮兵“军”。新批准的正规陆军兵力，包括3个工兵营在内，计有3820名军官和84799名士兵。不计在此数内的还有一个菲律宾侦察团和一个波多黎各团。步兵连的人数可以从65人至146人，骑兵连的人数可以从100人至164人不等。只要国会不提出异议，总统就可以以最高限额来扩充兵力，而且可能突破限额，直到兵力足以保证向驻菲美军进行充分增援为止。
扩军的结果使正规陆军的缺额1135名，其中至少有20％需在1年之内补齐，此后每年补充相同数量，直到缺额全部补满为止。年龄未超过40岁的人均有资格获得审查委员会颁发的证书而成为中尉和少尉。服役期满1年的士兵也可以参加考试。被委任为军官的大多是优秀的志愿人员，但也有西点军校以外的其他军事院校毕业生。像毕业于弗吉尼亚军事学校的乔治·马歇尔，在服役14年之后，这次才终于被授予美国陆军上尉军衔。
作为陆军改革的重头戏，鲁特还领导实施了一项引人注目的武器发展计划。当时，美国炮兵十分落后，基本上还是内战时期的老样子。而早在1865年，普鲁士人就发明了无烟火药，这种火药不仅有利于隐蔽炮兵位置，增加射程和提高命中率，而且其穿透能力大大优于黑色火药。1884年，经过法国人改进，无烟火药在欧洲得到广泛使用。但美国炮兵在美西战争中，仍然使用黑色火药。1897年法国人又发明了性能优良的75毫米火炮，但到1898年在美国炮兵武库中还没有任何武器可与之相提并论。
正是在鲁特的大力倡导和实施下，美国陆军终于在1902年制造出了M1902式3英寸野战炮，该炮使用无烟火药，可发射高爆弹和榴霰弹，并装有光学瞄准具和无后坐力炮架。随后经过几次改进，这种火炮实际上可与法国的75毫米炮相媲美。与此同时，陆军军械部还试验了各式各样的机关枪，包括勃朗宁、马克沁、刘易斯等等。
尤其值得一提的是，陆军研制出了用枪栓推卸子弹的M1903式斯普林菲尔德步枪，这种枪性能极佳，一直用到第二次世界大战前夕。
鲁特改革的触角还深入到军校教育领域并获得了极大的成功。鲁特这一改革的目的，是要将较老的几个军种学校同陆军军事学校结成一个紧密配合的系统。他早就发现，正规陆军中有1/3的军官没有受过正式的军事教育，而且他认为单靠一所军官学校和几所零敲碎打的实用性勤务学校，不可能培养出符合时代需要的合格军官。因此，1901年11月，他下令改组各陆军学校。
从这以后，陆军每个驻地，不论规模大小，都由一所学校组织向军官们讲授规定的理论课和实习课。驻地学校中那些特别有培养前途的学员将被送进各军、兵种高级学校去深造学习。这些学校都是在原来老学校的基础上发展起来的，但已在鲁特及其继任者的领导之下进行了多方面的改革。到1910年时，这些学校发展成为陆军勤务学校，校址都设在利文沃思堡，计有陆军作战学校（原称步骑兵学校）、通信学校、陆军野战工程学校和陆军军医野战勤务函授学校。此外还有设在赖利堡的骑兵学校、设在门罗堡的海岸炮兵学校，以及设在华盛顿的工程兵学校和医校。利文沃思堡历史悠久的步骑兵学校也筹建了一所参谋学院。
而作为这一学校系统之冠的则是华盛顿的陆军大学。
这些学校的共同特点就是彻底地告别了与印第安人作战时代的旧式陆军的传统，摒弃了强调死记硬背的教授方法，改革了古板、落伍的教学内容，而代之以高标准的军事奖学金制度和鼓励式教学法，同时还建立起一支思想活跃、锐意进取的高水平教官队伍。最能说明鲁特学校系统教官质量与办学实绩的，莫过于这些教官慧眼识人、善当伯乐的高超本领，他们一手挑选和培养出来的一大批年轻军官，在40年后的第二次世界大战期间，都成为美军最主要的指挥官。
1904年，鲁特在陆军部任满退休，心安理得地离开了华盛顿。无论是当时的人还是后来的人，都对他作出了高度的评价。正如德高望重的霍尔丹勋爵所言：“您知道，我确实已不需要再了解有关军队及其体制的任何情况了，因为爱里奥·鲁特作为美国陆军部长所写的五份报告，就是关于一个民主国家的军队体制及其地位的定论。”
