1863年，容闳有机会结识了曾国藩。他多次游说这位当时清廷中最有权势同时也最有远见的人物来实施他的留学生派遣计划。
　　1870年，曾国藩终于被容闳说动，同意领衔上书，奏请朝廷派遣子弟出洋学习。一年之后，曾国藩去世。留学生的派遣成为他充满矛盾的复杂的一生中所完成的最后一项业绩。
　　当年整个留学计划分四年进行：每年选30名12岁到15岁之间的幼童赴美，四年共120名，留学期限为15年。15年后，每年分30名回国。
　　容闳被任命为“选带幼童出洋肄业局”副监督。他负责招选了第一批幼童。当时，出洋留学如同探险，生死难料。报名的人远不如今天这样踊跃，招生颇为不易。内地招生不足，只好到开化较早、得风气之先的沿海一带去招。第一批赴美的30名幼童中就有25人来自广东。而幼童的家长还必须具结，保证：“倘有疾病生死，各安天命。”
　　招生完毕，容闳先期赴美，安排幼童们在美国的生活和学习。
　　1872年8月11日，30名穿着长袍马褂、拖着辫子的中国男孩子在上海港登上一艘邮船，远渡重洋去美国留学。
　　这就是历史上有名的“幼童留美”——一个容闳几乎完全凭着个人的努力创造出的“历史的奇迹”。
　　当那些穿着长袍马褂、拖着辫子的中国幼童们第一次出现在美国城市的街道上时，许多美国人误把他们当成了女孩子，常常会好奇地跟在他们后面大叫：“看，中国女该！”，弄得那些中国幼童们很不好意思。
　　但是，这些聪明的、头脑还未被“四书五经”完全禁锢住的中国男孩子们很快就适应了美国生活。他们被分配到美国人家里生活，异国自由独立的空气激发起他们久被压抑的童心。他们脱下了长袍马褂，换上美式服装，有的还大胆地剪掉了辫子。他们迅速学会了打棒球、踢足球、溜冰和骑脚踏车，有人甚至敢于用拳头和人较量。
　　这些事情立即在容闳和翰林出身的“选带幼童出洋肄业局”正监督陈兰彬之间引起激烈争执。容闳同情幼童们，认为这是西方文化熏陶的必然结果；而陈兰彬则指责容闳在偏袒纵容，他绝对无法容忍幼童们的那些“自由化”的变化。在他看来，孩子们蹦蹦跳跳本身就是一种悖逆。
　　容陈之争执反映出了两人留学观念上的根本冲突。容闳认为“西化”教育的目的之一就是要培养学生们具有一种有别于中国传统的独立精神和自由思想；而陈兰彬则把幼童们的变化视为是西方教育对纯正的中国思想的一种“污染”，他认为必须采取防范措施，不然这些中国幼童就都会变成“洋鬼子”了！
　　陈兰彬的担忧不是一点没有根据，但这只是一种典型的中国式的担忧。中国人内心深处向来怀有一种恐惧，害怕自己或别的同胞变成“非中国人”。这种恐惧多少植根于中国人历史上根深蒂固的“种族意识”，又因近代中华民族饱受欺辱的经历而染上一层民族主义色彩。它长久缠绕着中国人的心灵，蒙蔽着中国人的理性。
　　1875年，陈兰彬调任驻美公使。继任的人名叫吴嘉善。
　　吴嘉善亦是翰林出身。二十多年前，容闳曾与他在上海见过一面，留下的印象是：“性情怪僻”。共事几年后，容闳对他的评价是：“此人应置于疯人院或白痴院里。”
　　具有讽刺意味的是，吴嘉善原是遣派学生留洋一事的坚决反对者，如今却彼委任为“选带幼童出洋肄业局”正监督来管理留学事务。
　　吴嘉善一到任，就先因幼童们谒见时不行跪拜之礼而勃然大怒，接着，又责容闳纵容学生。最后，他干脆与陈兰彬一起上奏清廷，借口学生“腹少儒书，德行末坚……实易沾其恶习”而建议从速解散“选带幼童出洋肄业局”，撤回全部留美幼童，并声称：“能早一日施行，即国家早获一日之福。”
　　1881年9月6日，对留美的中国幼童来说，是一个极为悲愤和忧伤的日子。清廷决定招回幼童，幼童们被迫中断学业，全数“遣送回国”。其时，大多数人学而未成。60多人中断了在大学的学业，许多人还在中学学习。120名幼童中真正完成大学学业的只有两人。
　　中国近代留学事业的第一次尝试，就这样夭折了。
　　尽管被迫中断在美的学业，这批留美幼童中最终还是涌现出了一批优秀的铁路、煤矿、电讯、外交、海关、新闻等专业人才。他们之中有设计建造京张铁路的詹天佑，负责勘探建设唐山开平煤矿的吴仰曾，担任过电报总局局长的唐元湛，以及曾任总理的唐绍仪和曾任外长的梁敦彦。
　　幼童全数撤回之时，官吏出洋考察之风渐兴。光绪十三年（1887）总理衙门订出了出洋游历人员章程十四条，规定：五品以下官员出洋考察，除报销车、船费用外，每月另有二百两白银的津贴；而且，不但可以雇请一个翻译生，还可以带仆役一名。考察期限则以三年为限。
　　这种携员带仆式的“出洋考察”很快就流弊百出。光绪二十六年，外务部又上一奏章，称：“近年出洋学生……多不习外国语言学问，……废时靡费，莫此为甚”。至于奏章上去后效果如何，史书末载，不得而知。