光绪七年五月十二日（1881年6月8日），总理衙门呈奏慈禧太后：“臣等以为与其应饬下南北洋大臣，趁各局用人之际，将出洋学生一律调回。”当日，慈禧批示“依议钦此”。谕旨传到美国，正是暑假，学生们正在野外宿营，听此消息，对中途荒废学业悲愤异常。尽管容闳四处奔走企图挽回局势，尽管美国友人多方游说，但谕旨难违，是年底，除已在美国病故者三人，中途辍学者二十三人，剩下的九十四名“留美幼童”，分三批“凄然回国”。至撤回时，学生在美时间最长的只有九年，尚差六年，最短的仅留学六年。他们当中，只有詹天佑、欧阳赓两人刚从耶鲁大学毕业，其余六十名在大学读书，三十二名在中学读书，中途辍学或患病去世者共二十六人。这一创世纪事业遭到厄运半途刹车，究竟是谁的责任？众说纷纭。但陈兰彬却逃脱不了“反对派”、“保守派”的指责，更有人认为他要负全部责任。
根据留学章程的规定，学生在美期间，如遇水土不服、不遵守规章、或是家里出现特殊情况等，经批准可以撤回国内。在整个留学的过程中，有个别学生中途撤回是正常的现象。据《申报》光绪二年（1876）报道，头两批出洋官生有三名回国，他们是“容太守之侄，一名石锦堂，皆因水土不服而回者。又有一黄姓者系福建人，因有他故遂亦回华。然三人之英语已十分精熟矣。另有同来之二人，闻系教读之师，其姓名则未之知也”。《出洋官生回沪》，《申报》1876年2月19日。在这支超过百人的留美幼童的队伍里，良莠不齐固然是正常的，在整个过程中，清政府对这批幼童亦作过筛选工作。光绪四年（1878年3月4日），李鸿章给时为驻美公使陈兰彬的信中亦提及此事。信中说：“惟幼童人数稍多，其中良莠不齐，强弱各异，计自出洋以来，已先后撤回十名，病故一名。”黄嘉谟主编：《中美关系史料》光绪朝（一），第350页。对于中途回国的学生，李鸿章认为如何安置好他们的工作是重要的。这些人英语水平高，如初次撤回的石锦堂，病好后被郑藻如招入上海局画图房工作，工作表现不错，颇为得力。当然有一些人在洋人的机构里工作。考虑到国家为培养这批人才耗费了大量的资金，考虑到这批人的优势，李鸿章建议，以后凡撤回的幼童，须送交江海关道察核验明，分配到各机器局、招商局、轮船局等机构工作，不要浪费人才。
然而，当第一批留美学生出国近十年的时候，海内外出现了一股攻击出洋肄业局的风潮，直吹到朝廷。朝廷开始问责主办留美教育的负责人李鸿章，出洋肄业局第一任监督陈兰彬，时任出洋肄业局监督吴嘉善。朝廷如何问责陈兰彬？还是先从陈兰彬的一份奏折说起。
陈兰彬呈递的奏折写于光绪七年二月初六（1881年3月5日），其奏曰：
……窃臣于光绪七年正月二十八日，承准总理各国事务衙门咨递军机大臣字寄：“光绪六年十一月十六日奉上谕，有人奏，闽洋两局废弛，请饬严加整顿一折，等因，钦此，遵旨得信前来。”
臣伏查驻洋肄业局，系同治十一年创设于美国之干捏底吉邦哈富得尔城，臣于是年七月，同副使容闳奉委携带第一批幼童出洋，所有章程，均仍遵照南北洋大臣原议试办。十二年秋间，臣往古巴岛查察华佣，十三年夏间返局，旋接总理各国事务衙门札调回京，其后各批幼童陆续到局，该局总办、教习各员亦迭有更换。查原奏所称“总办区姓”，系工部升用员外郎区谔良。该员外郎是否吸食洋烟，臣未亲见。惟自光绪元年接充总办，实系有侍安妾二人另馆居住，则十数日不到局，到亦逾刻即行之语，谅非无因。但臣于五年二月接淮北洋大臣李鸿章抄咨，已经具奏调回原衙门差当，该员外郎旋即交卸离局矣。
又原奏所称“帮办翻译黄姓”，查系候补同知黄大权。该同知原系奏带随使之员，派充华盛顿使署翻译。五年三月，臣往日斯巴尼亚国，适该局总办候选道容增祥丁忧回籍，副使容闳兼摄局务，拟派帮办，臣虑及该同知洋习太重，在局究不相宜，当于是年闰三月去法国途次，寄托改派为金山总领事公署翻译，以金山相距一万四千里，可免其沾涉局事也。
现在该局总办系侍讲衔翰林院编修吴嘉善，教习系候选同知容思济、候选县丞沈金午，各员皆不崇尚洋教，察出各学生弊窦，亦节次撤遣回华，不肯姑息。惟上年十一月，吴嘉善特来华盛顿，面称“外洋风俗，流弊多端，各学生腹少儒书，德性未坚，尚未究彼技能，宜易沾其恶习，即使竭力整饬，亦觉防范难周，极应将局裁撤。惟裁撤人多，又虑有不愿回华者，中途脱逃，别生枝节”等语。臣当语以拟何办法，总宜咨呈南北洋大臣酌夺。嗣经迭次函牍询问，尚未据吴嘉善复有定章。臣窃维吴嘉善身膺局务，既有此议，诚恐将来利少弊多，则照其所言，将各学生撤回内地，严加甄别，择稍有器识者分派需用各衙门，充当翻译通事，俾之学习政事威仪，其次者令在天津、上海各处机器、水雷等局专习一艺。各学生肄业多年，洋文固已谙通，制造亦当涉猎，由此积累，存乎其人，亦不在久处外洋方能精进。至所虑中途疏脱一节，即责成该总办同教习各员，亲行管带回华交代，自免意外之虞。
惟查该局向章，一切事宜，均具报南北洋大臣核办。此次应否撤局及如何带交代回之处，自应由该局总办筹有章程，呈请南北洋大臣核定，奏明办理，已归划一。
臣恭奉谕旨饬查，理合将驻洋肄业局现在实情缮折具陈。中国史学会主编：《洋务运动》第2册，第164-165页。
说陈兰彬要负全部责任的，就是以该折为依据。但此事的前因后果极其复杂，我们必须仔细分析该奏折是在怎样的背景下写的？奏折的内容以及陈兰彬的意见等等。只要作深入的分析，亦可知道陈兰彬一人是无法左右留美学生撤回的局势。
光绪七年（1881）初，陈兰彬收到由总理各国事务衙门转递的军机大臣的信，信写于正月二十八日，内容是询问一件事：“光绪六年十一月十六日奉上谕，有人奏，闽洋两局废弛，请饬严加整顿一折，等因，钦此，遵旨得信前来。”简单几句话，实际上要陈兰彬讲清楚出洋肄业局是怎么一回事？是否有“废弛”一事？有的话，又应该如何整顿。陈兰彬实在不敢怠慢，于二月初六马上上奏向朝廷汇报，这就是陈兰彬该奏的背景。
那么，“闽洋两局废弛”一说，究竟是谁说的？
原来，光绪六年十一月十六日（1880年12月17日）的奏折是江南道监察御史李文彬上奏朝廷的。该奏道：
……是闽局之废弛如此，洋局之废弛又如彼，该学生等或习为游戏，或流为异教，非徒无益，反致有损，关系实非浅鲜。……并请旨饬下南北洋大臣转饬确查洋局劣员，分别参撤，其入教各生，一并撤令回华，免除流弊。…… 中国史学会主编：《洋务运动》第5册，第249页。
李文彬的奏折具有一定的代表性。国内顽固势力在光绪六年（1880）把反对留学教育的声势推向高潮。他们既反对曾国藩、李鸿章派遣幼童留美，也反对沈葆桢派遣船政学堂学生留欧。即使是洋务派也传来反对的声音，曾纪泽就是其中的一个。曾纪泽一开始就不看好在外国培养的人才。他曾致函总署，对留学教育持反对的态度。函文写道：
昔年陈荔秋容纯甫率幼童出洋，纪泽侍太傅前陈说利弊，亦与张君之意略同，当时言美国君臣上下不分等差，幼童未读中国圣贤书，遽令远赴异域专事西学，上之不过为美邦增添士民，下之为各埠洋行增添通事买办之属耳，于国家无大益也。其时，事行大半，不可中止，由今观之，则出洋局幼童赴美者其收效固不如同文馆学生，与福建船厂学生上海机器局学生之收效多也，则张君之言信可采也，先择俊慧子弟于中国书院中讲求学问，中西并务稍有成就，然后遣赴外洋，乐育人材而节省经费，似属可久之策。 曾纪泽：《曾惠敏公使西日记》，清光绪十九年（1893）江南制造总局出版，第12页。
在曾纪泽看来，在外培养人才，于国家无大益，无非是为美国增添士民，或是为国内洋行增添通事买办而已。同时，留美学生还不如同文馆学生。他认为倒不如先在国内培养，让学生在中西方面的知识都略有基础时，才派遣出洋。这是节省经费的长久之计。
容闳的《西学东渐记》也记载留学生撤回起因于御史的奏报。正因为李文彬的奏报，朝廷要质问总督李鸿章，曾任留学生监督的陈兰彬和时任留学生监督的吴嘉善。容闳亦认为首先提出撤回留学生的是吴嘉善，而不是陈兰彬。在容闳的笔下，李鸿章态度是顺反对党之意而赞成；陈兰彬的圆滑达到至极，只说“学生居美已久，在理亦当召回”；而吴嘉善直截了当提出“当立即撤回”。容闳书云：
此时反对党中有一御史，因美国华工禁约之举，遂乘机上一封奏，请即解散留学事务所，撤曰留学生，以报复美人之恶感。政府阅之，亦未敢贸然准其所奏。乃以此事质之总督李文忠、公使陈兰彬与监督吴子登三人，询具意见。李文忠此时不愿为学生援手，即顺反对党之意而赞成其议。陈兰彬因曾任留学生监督，此中真相理应洞彻，故政府亦垂询及之。陈乃以极圆滑之词答政府，谓学生居美已久，在理亦当召回。其措词之妙，可谓至极。吴子登则更无犹豫之词，直接痛快以告政府，谓此等学生当立即撤回，归国后并须交地方官严加管束云。此三人各陈所见，初无一语询予。予于此事，已无发言之权。盖彼等咸疑予怀私见，即有所言，亦不足信也。留学事务所之命运，于是告终，更无术可以换回矣。此百二十名之学生，遂皆于一八八一年凄然返国。 容闳：《西学东渐记》，第107页。
对于清政府来说，花了那么大笔钱派学生出国，但求培养对国家有用之才，如今弊窦丛生，当然要兴师问罪，固然要在李鸿章那里讨个说法，但作为亲自率领幼童出国的第一位出洋肄业局总办，当然也首当其冲。陈兰彬在呈递朝廷的奏中，只好把出洋肄业局运作的过程从头说起。
陈兰彬的汇报，追述出洋肄业局于同治十一年（1872）创设于美国康州哈特福德。实际上，出洋肄业局早期的局址在麻州的春田城（Spring Field）。后来才迁至康州的哈特福德之森孟纳街（Summer Street）。在中国官方文书中，称“哈富肄业局”。同年七月，他与容闳带第一批幼童出洋。十二年（1873）秋间，往古巴岛调查华工受虐情况，十三年（1874）夏间返局，又接总理各国事务衙门札调回京。“其后各批幼童陆续到局，该局总办、教习各员亦迭有更换。”这一段的追述，说明直至到光绪元年（1875）为止，陈兰彬已离开肄业局，局内的事务他已不过问，总办一职已换人。
接着，陈兰彬逐个介绍他的后继人。第一位是工部升用员外郎区谔良，陈兰彬证实他“实系有侍安妾二人另馆居住”，不大关心肄业局事务，“十数日不到局，到亦逾刻即行”。陈兰彬报告，区谔良于光绪元年（1875）就任总办，光绪五年（1879）二月离职回华。第二位总办是容增祥。在这里，陈兰彬解析“帮办翻译黄姓”，即候补同知黄大权（即黄达权，黄胜），原是中国驻华使馆翻译。光绪五年（1879）三月，陈兰彬出使西班牙，肄业局总办容增祥又丁忧回籍。当时副使容闳拟派黄达权帮办肄业局事务，陈兰彬担心黄达权“洋习太重”，不适宜在局内工作，改派他任旧金山总领事馆翻译。陈兰彬证实黄达权没有当肄业局总办。在介绍最后一位总办吴嘉善时，陈兰彬指出他和他的同事容思济、沈金午，“皆不崇尚洋教，察出各学生弊窦，亦节次撤遣回华，不肯姑息”。
陈兰彬重点介绍吴嘉善，突出说明吴嘉善主张“将局裁撤”的经过。光绪六年（1880）十一月，吴嘉善特地从哈特福德来到华盛顿，谈及学生们的弊端，说学生“腹少儒书”，尚未究彼技能，却“沾其恶习”，即使竭力整饬，也难以防范。他极力主张“将局裁撤”，但又怕有学生不愿意回国，中途脱逃。当时，陈兰彬对吴嘉善说：“以拟何办法，总宜咨呈南北洋大臣酌夺。”也就是说，采取什么办法，一定要向南北洋大臣汇报，最后由南北洋大臣酌夺。可见，第一个提出裁撤出洋肄业局的人正是第三位总办吴嘉善。
惟一能找到陈兰彬同意撤回留美学生的，只能是下面那一段话：
臣窃维吴嘉善身膺局务，既有此议，诚恐将来利少弊多，则照其所言，将各学生撤回内地，严加甄别，择稍有器识者分派需用各衙门，充当翻译通事，俾之学习政事威仪，其次者令在天津、上海各处机器、水雷等局专习一艺。各学生肄业多年，洋文固已谙通，制造亦当涉猎，由此积累，存乎其人，亦不在久处外洋方能精进。至所虑中途疏脱一节，即责成该总办同教习各员，亲行管带回华交代，自免意外之虞。
陈兰彬的意思是，吴嘉善作为总办，他提出将学生撤回，或许是怕将来利少弊多。但陈兰彬考虑的更深一层，即如果学生撤回，应如何安排好他们的工作，使人尽其用。他建议，挑选稍有器识者分派需用各衙门，充当翻译通事；一些可以在天津、上海各处机器、水雷等局专习一艺。他认为，学生在美国学习多年，既懂洋文又涉猎过“制造”技艺，由此积累下去，也一样能“精进”，成才。这里，没有责备学生的意思，只是考虑，如果撤回成为现实，就要为他们寻找一个合适的位置。即使陈兰彬同意“撤回”，其内涵与吴嘉善的想法也不尽相同。该折的最后一段更清楚表明陈兰彬的观点：是否撤局，按局的章程办事，具报南北洋大臣核办，由南北洋大臣核定。由此可见，陈兰彬上呈的奏折，并没有表白要撤回学生的主张，而只是以第一任总办的身份，说清楚出洋肄业局的设立的过程。从折中，我们清楚知道，是吴嘉善首先提出撤回留美幼童，陈兰彬劝阻过。后来因为同是翰林，又有同一价值观，陈兰彬同意把情况向朝廷汇报。
在陈兰彬上奏朝廷的同一个月，李鸿章于光绪七年二月三十日（1881年3月29日）给总理衙门一份题为《论出洋肄业学生分别撤留》《李鸿章全集》第8册，第4542-4544页。函件，提出“分别撤留”学生。李鸿章并不主张全撤学生，但是，他对肄业局的情况并不太知情，也许他没有看到陈兰彬给朝廷的奏折，在他的函件中指出陈兰彬“坚持全裁之议”。函件曰：
……迩年以来，颇有议莼甫偏重西学，致幼童中学荒疏者。鸿章尝寓书诫勉，不啻至再至三。往岁荔秋出洋，曾与面商，请其照料局务，荔秋亦慨然允许。而前年子登到局后，垒函称局务流弊孔多，亟宜裁撤。是以鸿章累次函告荔秋、子登会商莼甫妥筹应留应撤，或半留半撤之法。嗣荔秋等皆有来函，似其意见甚相龃龉，故商办未能就绪。鸿章平心察之，学生大半粤产，早岁出洋，其沾染洋习或所难免。子登绳之过严，致滋凿枘，遂以为悉数可撤，未免近于固执。后次来信则谓学生之习气过深与资性顽钝者可撤回华，其已入大书院者，满期已近，成材较速，可交使署兼管。其总办教习翻译等员一概可裁，尚系审时度势之言。莼甫久管此局，以谓体面攸关，其不愿裁撤，自在意中。然阅其致子登函内，有分数年裁撤之说，尚非不可以理喻者。荔秋与莼甫牴牾已久，且其素性拘谨畏事，恐管理幼童与莼甫交涉更多，或被掣肘，故坚持全裁之议，彼其所虑固非无因，然荔秋与莼甫均系原带童出洋之人，均不能置身事外。子登续拟半撤之法，既不尽弃前功，虚糜帑项，亦可出之以渐免胎口实。 《李鸿章全集》第8册，第4543页。
李鸿章在奏折中想说明，先是吴嘉善提出撤回学生，但后来吴转而同意“逐渐撤回”，而陈兰彬因为与容闳矛盾甚深，却“坚持全裁之议”。李鸿章本人希望不要急于撤回学生，他用美国总统及驻华公使的信加以说明，学生在美国表现很好，美国也不愿中国撤回学生。因此，他建议，就读大书院的学生继续深造，再留一些聪颖学生，其余先回国。函曰：
……正在踌躇间，适接美前总统格兰特及驻京公使安吉立来信，安使信内并抄寄美国各书院总教习等公函，皆谓学生颇有长进，半途中辍殊属可惜，且于美国颜面有损。鸿章因思前此幼童出洋之时，钧署及敝处曾函托美使镂斐迪照料，该国君臣喜中国振奋有为，遇事每能帮助，今无端全撤，美廷必滋疑骇；况十年以来用费已数十万，一旦付之东流，亦非政体。若照子登后议，将已入大书院留美卒业，其余或选聪颖端憨可成材者酌留若干，此外逐渐撤回。若使署可以兼顾，期肄业局总办、教习、翻译人等亦可酌裁省费。 《李鸿章全集》第8册，第4543-4544页。
也许是李鸿章的函稿关系，三个月后，总理衙门在一份奏折中对陈兰彬定了调：“全部裁撤”是陈兰彬提出的。总理衙门在该折中把吴嘉善的话，说成是陈兰彬的话，把吴嘉善全盘撤回的主张，说成是陈兰彬提出的主张，绝不提吴嘉善的名字。这就是光绪七年五月十二日（1881年6月8日）总理衙门奕等奏的《为查明出洋肄业局务渐弛难期整顿拟请撤令回华量材器使专折》。其奏曰：
……窃维肄业局之设，原以办理洋务，须熟习彼中情形，方免隔阂。自同治十年由南北洋大臣奏定章程，挑选幼童中之资质较优者，派员管带出洋，前往就学，以备异日成材之用，及在哈富设局，后凡有水土不服，习气过重及不遵约束者，先后分起撤回，其留局肄业诸生，虽未必尽属成材，但使教导有方，尚可收拔十得五之效。讵料日久弊生，有名无实。上年刘坤一来京，代该局前任总办区谔良转递节略一纸，条陈局中利弊，颇为详尽。
臣等当即函致陈兰彬，嘱其确切查明。旋据复称，该局利少弊多难资得力。臣等又与李鸿章往返函商，李鸿章亦有半撤半留之议。
去年十一月十六日奉上谕：有人奏洋局废弛，请饬严加整顿一折。着李鸿章、刘坤一、陈兰彬查明，洋局劣员分别参撤，将该学生严加约束，如有私自入教者，即行撤回，仍妥定章程，免滋流弊等因，钦此。钦遵恭录行知遵照去。后嗣据陈兰彬奏称，外洋风俗流弊多端，各学生腹少儒书，德性未坚，尚未究彼技能，先已沾其恶习，即使竭力整顿，亦觉防范难周，亟应将该局裁撤等语，奉旨，该衙门知道，钦此。
臣等查该学生以童稚之年，远适异国，路岐丝染未免见异思迁，惟恃管带者督率有方，始能去其所短取其所长，为陶铸人材之地。若如陈兰彬所称是外洋之长技尚未周知，彼族之浇风早经习染，已大失设局之初心。四月二十六日，准李鸿章来咨，现调出洋学生二十名赴沪听候分派，是亦不撤而撤之意。臣等以为，与其逐渐撤还，莫若概行停止较为直截。相应请旨饬下南北洋大臣，趁各局用人之际，将出洋幼童一律调回，一面妥订章程，责成该局员亲自管带各童回华，庶免任意逗留，别生枝节，至诸生肄业既久，于原订章程九门，当亦渐通门径，回华后察其造诣浅深，分配各处，庶无失因材器使之意，局中一切经费即自裁撤之日逐款划清，不准再有虚糜，并咨报臣衙门备案，以重帑项。所有拟请裁撤出洋肄业局各缘由理合专折具陈。伏乞皇太后、皇上圣鉴训示遵行，谨奏。国家图书馆藏历史档案文献丛刊：《总署奏底汇订》第2册，北京：中华全国图书馆文献缩微复制中心2003年版，第909-911页。
这是幼童撤回最为关键的奏折。该折历数出洋肄业局“日久弊生，有名无实”的弊端。而证明该局弊窦丛生的证据来自三方面：第一是区谔良转递节略一纸，“条陈局中利弊，颇为详尽”；第二是光绪六年（1880）十一月十六日江南道监察御史李文彬上奏，“洋局废弛，请饬严加整顿”；第三是陈兰彬的说法。由于陈兰彬是幼童留学的经办人，是第一任监督，而其“说法”的分量又最重，因此，他的话影响至深，也因为这些话，他也成为顽固势力的典型代表。
在该奏中，陈兰彬的说法有两段：第一，“臣等当即函致陈兰彬，嘱其确切查明。旋据复称，该局利少弊多难资得力”。第二，“嗣据陈兰彬奏称，外洋风俗流弊多端，各学生腹少儒书，德性未坚，尚未究彼技能，先已沾其恶习，即使竭力整顿，亦觉防范难周，亟应将该局裁撤等语”。这段话明明是吴嘉善的原话，这时候却变成了陈兰彬的话，也就是说，该折点明陈兰彬的观点：留学生未学到技能，却沾上恶习；应该全部裁撤留美学生。
根据这些情况，总理衙门认为，“与其逐渐撤还，莫若概行停止，较为直截”。于是，总理衙门“饬下南北洋大臣，趁各局用人之际，将出洋学生一律调回”，并呈奏慈禧太后。当日，慈禧批示“依议钦此”。与她十年前批准幼童留美计划的上谕，一字不差。总理衙门这一奏折，成了责令留美幼童全部撤回的关键文件。而陈兰彬却成了主张留美幼童全部撤回的提倡者。这就是整个经过的来龙去脉。
事实证明，第一个提出“全部裁撤”学生者是吴嘉善。当反对留学教育的声音甚嚣尘上时，当朝廷问责留学教育的事务时，时任出洋肄业局监督的吴嘉善，跑到华盛顿找陈兰彬，提出把全部留美幼童撤回的主张。容闳称他为“留学界之大敌”，视留学外洋为“离经叛道之举”。那么，吴嘉善有何呼风唤雨的本领，为什么得到陈兰彬的袒护？一篇题为《留美中国学生会小史》的文章，介绍陈兰彬偏袒吴嘉善的个人原因。因为在陈、吴之间出现一位“金某”，此人是吴的僚友，也是某亲贵之红员，吴依仗金某而盛气凌人。而陈又是金某的门生，“陈仰其鼻息，又欲献媚以博其欢心”，于是就纵容和支持吴嘉善。该文曰：
同治末年，湘乡曾国藩奏请派幼童出洋留学。议成于一八七○年，使丰顺丁日昌募集学生。翌年，适吴川陈兰彬出使美国，遂命香山容闳率学生同来，以高州区谔良为监督，新会容增祥副之，即唐绍仪、梁诚、梁敦彦、容逵、欧阳赓、侯良登、詹天佑、郑兰生等辈。此为中国学生留美第一期。各生初到时，清政府在千拿得杰省之核佛埠购置一室，为留学生寄宿舍。光绪七年，改派南丰吴嘉善为监督。斯人甚好示威，一如往日之学司。而其妆模作样，则有过之无不及。故当接任之后，即招各生到华盛顿使署中教训，各生谒见时，均不行跪拜礼，监督僚友金某大怒，谓各生适异忘本，目无师长。固无论其学难期成材，即成亦不能为中国用。闻陈兰彬系金某之门生，且金某又为某亲贵之红员，而有势力者。故陈仰其鼻息，又欲献媚以博其欢心，是以奏请将留学生裁撤。署个各员均窃非之，但无敢言者。独容闳力争，终无效果。卒至光绪七年，遂将留学生一律撤回。此为第—期留学界绝命时代。时嘉应黄遵宪闻此憾甚，赋《罢美国留学生一首》述其事颇详。 《留美中国学生会小史》，《东方杂志》1917年第14卷，第12号。
吴嘉善不仅有主张，还有行动，他未待批准就急忙想带部分学生回国。光绪七年（1881）正月，陈兰彬由华盛顿致电李鸿章：“接吴子登文，要自带二三十幼童回华，余事弗管。请即电止起程，饬其经理完结。”李鸿章接到电报后，急忙致电陈，要陈加以制止；又致电吴，劝说他留美。李对陈说：“……子登何以遽带二三十幼童回华？已发电劝止。乞与商经理完结。恐彼未可久留，又无妥人往替，如真无功效，弗如及早撤局省费。请速筹定勿辞。”李对吴说：“闻有自带二三十幼童回华之说，务请与陈公妥商，将此事经理完结乃可起程，切勿着急。” 中国史学会主编：《洋务运动》第2册，第180页。六月，吴嘉善给李鸿章信中说：“电报学生六十日内可以起程，嘉善已决意回华，立候中堂示下，可否请即电致陈星使兼管出洋肄业事。”李回信说：“总署已奏准全撤，俟奉到行知照办。电报学生可令先回。执事须将局内经手公务了清，方能起程回国。” 中国史学会主编：《洋务运动》第2册，第182页。作为出洋肄业局监督的他，采取不负责任的态度一走了之。李鸿章虽然对吴嘉善有意见，但吴氏回国后，李鸿章仍然按惯例为他请奖：“……吴嘉善博通中西学术，物望素妥，此次远涉重洋，襄办使事，综理局务，均能认真核实，劳瘁不辞。拟请赏加四品顶戴。” 《李鸿章全集》第3册，第1668页。
这时，作为公使的陈兰彬真的不想管肄业局的事了。他在给李鸿章的信中表示，不再管理肄业局，也不管裁撤之事。他说：“日前复奏已言裁撤此局，应由中堂奏明。顷接电示，知子登又有变计。应否撤局，自由尊裁，惟兰彬弗能经理，万乞鉴原。莼甫如何，由其自报。” 中国史学会主编：《洋务运动》第2册，第181页。面对留美学生“留”与“撤”的问题，陈兰彬的心情是复杂的。他曾说：“天下事败之甚易，成之甚难。”从心态方面分析，在幼童留美教育问题上，陈兰彬付出过，他不会眼白白地看这一创举“事败”。他所参与经营的留美教育事业最后却中途而废，这应该不是陈兰彬所希望看到的结果。
然而，对于发生在身边的中国幼童频频超越传统礼仪、习俗、观念和意识形态的西洋化行为，陈兰彬也产生了更大的忧虑，他的确对留学生中出现的一些弊端忧心忡忡，这也反映他矛盾的心态。他和吴嘉善一样，作为一个封建士大夫对西洋的一切事物有着共同的审视观和价值观。因此，陈兰彬最终的态度是站在吴嘉善一边，在大势所趋下，他也同意召回学生。朱祖谋给陈兰彬撰碑铭时，也清楚说明陈后来对学生的看法和不满，与容闳的意见相反。碑文说：
中国所遣多孤寒幼稚，出洋后，濡染欧风，瞳目于宫室之华，醉心于饮食与服之靡，至其政治艺能，鲜所研究，即一二颖秀翘然异于众者，则又厌弃儒学，谓中国经术不足以致富强，徒挟欧美之文字语言以欺世，公愤然忧之，谓选择未至，贸然遣派之失策也。公归，而容闳从其任学未毕业，遽召还，公谓以中国才隽，不能与日本争优胜，而废然自返，将来贫弱以召祸，异日交涉，怨无任事之才。 《清代碑传全集》下册，第1720页。
准确地说，在各种压力下，基于肄业局出现的弊端，陈兰彬同意召回学生，但是他没有直截了当提出撤回留美学生，这是事实。容闳归结为是陈兰彬的圆滑，“陈亦怯懦鄙夫，生平胆小如鼠，即极细微之事，亦不敢担负丝毫责任”。 容闳：《西学东渐记》，第104页。容闳的分析不无道理。陈兰彬深知枪打出头鸟，既然自己已经不是肄业局监督，又何必管这些事关命运的大事呢！以他的性格，如果不是吴嘉善找上门，如果不是朝廷要他回答问题，他不会贸然表态。但是，除了他谨小慎微外，也应该看到，陈兰彬也是个循规蹈矩，深知官场规则的官员。他当出洋肄业局监督，就切切实实按肄业局章程办事，章程规定，肄业局内发生的事情，要及时向南北洋大臣汇报，由南北洋大臣定夺。因此，出现问题时，陈兰彬总是及时向李鸿章汇报，绝对不会越级打报告。
清政府于光绪七年（1881）提前撤回幼童，把好端端的新生事物半途而废，不能不是个极大的遗憾。陈兰彬站在主张召回学生的一边，正反映了他思想上的局限性，也使他政治生涯中沾上了污点。但是，笔者认为对他一味指责未免过于偏颇。实事求是地分析，有三点是值得澄清的。第一，提出全部撤回幼童的不是陈兰彬，而是时任出洋肄业局监督的吴嘉善。第二，1881年陈兰彬是驻美公使任内，早已不是出洋肄业局的监督，严格来说，肄业局的事务他已不负责任了。第三，陈兰彬对发生在幼童身上的弊端忧心忡忡，也非全没道理。如幼童的“美国化”行为，对中文学习的不感兴趣等问题。有些问题仍然成为当今留学教育中必须正视和解决的问题。
当然，留学生提前撤回的因素是多方面的，清政府保守势力对新生事物的阻挠和破坏，留美幼童出现的问题，留学事务所内人事的矛盾，美国排华运动的蔓延等等，当然不是陈兰彬一人所能左右。在留与撤的问题上，以陈兰彬的思维方式，既然学生中发生那么多的弊端，也遭到国内一些人指责，为防止事态的发展，他很自然地主张将幼童撤回来。
留学生提前撤回是政府的决策，谁也无法阻挡。朝廷派遣留学生出国学习西方技术，当然是为了富国强兵，是为了大清江山永固。如果留学生尽管学到了西方科技文化，却忘掉了本国传统，这当然是“本末倒置”，是不能允许的，这是朝廷为保大清江山的决策。当时的社会因素也不容忽视。顽固封闭的思维是当时中国社会病症，而且蔓延到各个角落，这亦成为留美教育无法得到圆满结局的社会因素。顽固的观念和思想成为一种社会现象，其表现之一是守卫祖宗之法。一个学子要修成正果必须走科甲正途，没有必要千里迢迢去学那些被视为不屑的西学。“朝廷命官必用科甲正途者，为其读孔孟之书，学尧舜之道，明体达用，规模宏运也，何必令其学为机巧，专明制造轮船、洋枪之理乎？” 中国史学会主编：《洋务运动》第2册，第29页。传统社会中那些坚持守卫夷夏大防的顽固分子容不下新生的事物，他们要把固有的教育继往开来，一脉相承，绝不让把正途子弟拖入洋务，因此他们群起攻击留学教育，认为西学救不了中国，中国的事中国人只有按中国的传统才能解决和造就。
肄业局结束了，学生撤回来了，谁的责任已不重要了。但是，陈兰彬的名字始终与第一批留美学生的历史连在一起，他在这一历史时期扮演什么角色？无论如何，是应该还个明白，还个公道。陈兰彬，这个从科举制度中培养出来的翰林，在变革的时代能与时俱进，办洋务，谈西学，他怀着“欲为中国建无穷之业”的雄心壮志，参与率领第一批中国留学生赴美国学西学。时代把他推向近代中国教育制度改革的前沿，他当之无愧被选上出洋肄业局监督的位置。出国前，他在曾国藩、李鸿章的指引下，与容闳一道参与制定留学章程及应办事项，出国前制定的一切留学规章制度均也凝聚着他的心血。到了美国，容闳利用其外语的优势，容闳主外，他主内。他及时向国内汇报学生的安排，以及争取美国政府的帮助。他倾注许多心血对学童的关心和爱护。他不仅关注学生的学习，还提醒学生不仅要尽快适应美国社会的生活，也要学生重视中文学习，以便学成后回国为祖国服务。尽管他奉命已赴古巴调查华工情况，但也抓紧时机到肄业局看望幼童，他为学生的每一进步都引以为荣。陈兰彬关心出洋肄业局，关心学生的生活和学业，为留学工作做出成绩是不能否定的。
