他上任后做的第一件事是令总务厅将外交部门前的下水道疏通。原来的总理衙门前下水道淤塞，每逢雨天，门前积水就很深，每位外交官员只好由衙门的差役背进衙门。衙门改成外交部，陆征祥认为门口积水有碍北洋政府外交部形象，所以先清除了淤塞，让门面有个新气象。第二件事是免去部里一切部员的职，由他考察后再任命。他坚持宁缺勿滥的原则，新组成的外交部竟缺员一百五十名，袁世凯的侄儿也在被裁的一批人中。部里有一余姓厨师，曾大得慈禧之宠，当年李鸿章亦怕他几分，李曾考虑用西宴招待外宾，余不干，李只好作罢。余姓厨师还向当时外务总理施压，委任自己的儿子任部里的秘书。民国成立后，余厨子以为陆总长不会不买他的账，起先还不急，发现新外长果然行事与前清老爷大不同，就慌了神，余便带了几十只火腿送到陆外长家，却被告知赶快带着火腿走。余厨子离开外交部一事不但在国内让知情人称快，连西班牙等国报纸也当新闻刊出，被看着是北洋政府外交部改革的风向标。
另一方面，陆征祥开始培养新人。他参考欧洲一些国家外交人员录用管理制度，定出民国外交部录用人员三大原则:1.一律经考核后择优录取;2.为防止地方派系主义，全国统一考试;3.长于一门外语者优先。他还要求外交部的官员必须学会一门外语。陆征祥真是踌躇满志，意在改变外行官僚办外交的局面，使北洋政府外交从此现代化。
当时国内各部官员都无按点到署的概念。陆征祥对自己的部员说:“我陆某无能无德，实愧任外交总长一职，但某有一长，即能按点办公，故敢要求各位亦如此办。“当时的外交部也真有一些新气象。
就这样，他组建起民国的外交部，创建了民国外交人才培养体系。第二次世界大战时，他当年挑选的六十名青年已有三人任大使、十四人任公使了。民国第一届内阁夭折后，陆征祥出任新内阁总理。但由于他本来一介书生，超然政治派别，自然失败，只得辞职，仍任外长。1912年中华民国成立之初，派系之争如同水火，内阁数次更迭，政府更像走马灯，陆征祥也数次被“请“入阁复又出阁，几沉几浮。
陆征祥的性格注定他是要演悲剧的。他善良而软弱，书生气十足，有人形容他“谦谨和平而拙于才断“，非常中肯。在一个不良的政治环境里，这样的书卷气只能使他成为野心家的炮灰，成为派系倾轧的最大受害者，所以，他不但实现不了治国强国的理想，还往往客观上做了野心家的帮闲、帮凶。如袁世凯称帝一事，陆征祥是反对的，但袁世凯称帝后，要他当外交总长，他又出任了。尽管他拒绝接受袁世凯的封爵授勋，但他毕竟在这个短命皇朝里称过臣子，无论他怎么为自己开脱说是为保存民国外交改革成果也罢，说是不得已也罢，都不能为自己洗脱这耻辱。
在任期间最令他痛心的还是签《二十一条》，以及巴黎会议期间政府不断施压要他在《凡尔赛和约》上签字。还是刚进入外交界时，正逢《马关条约》一案。许景澄痛心地对他说:子欣，子欣，不可忘了马关，日后当努力洗尽国耻，收我失地。出任外长后，陆征祥请林琴南写了“不忘马关“几个字挂在办公室，提醒自己勿忘国耻。可是，1915年，袁世凯为了穿龙袍，竟要在野的陆征祥再次出任外交总长，代表中国与日本就《二十一条》谈判，并命他签字。
明知是一个不平等的条约，不签，日本一定会出动武力，当时北洋政府兵力弱，加上内战，民众已在水深火热中，何堪再加日寇蹂躏?签，实在不情愿，他知道袁世凯不论签不签都要牺牲国家和民众，他只有硬着头皮接下这任务。《二十一条》签字后，陆征祥感到身心俱瘁，他对袁世凯说:“我签了字，也签了自己的死案了。“《二十一条》披露后，全国上下群情激愤，人们游行示威，声讨外交次长的曹汝霖和当时驻日公使陆宗舆，却未提及主持谈判的总长陆征祥，大家也都明白陆征祥是被临时推出主仪的，是被迫签的字。签了《二十一条》后，陆征祥提出，北洋政府只有对德宣战，方有希望在欧战结束后收回国土国权，袁世凯不听他的。后来黎元洪任总统复请陆征祥任外长，陆又提出如果
中国宣战，他便出任。黎元洪不肯宣战，陆征祥便不当总长闲居在家。直到段祺瑞任总理后对德、奥宣战，陆征祥才再次出任总长。
第一次世界大战结束后，北洋政府作为协约国的一员，是战胜国，被邀请出席巴黎和会。北洋政府便派出外交总长陆征祥、驻美公使顾维钧、南方政府外交部长王正廷、驻法公使施肇基、驻比利时公使魏震组等五人为代表，组成中国代表团，并任命陆征祥为代表团团长。
陆征祥受命后十分高兴，因为这次北洋政府是战胜国，可以一雪签“二十一条“之耻。在稍作准备后，他们便踏上了赴欧的征程。当时，海上交通困难，欧亚航线班轮稀少，陆征祥等去巴黎，不得不出山海关经东北、朝鲜到日本，然后从日本横滨登轮横渡太平洋，途经旧金山、纽约，再穿过大西洋抵巴黎。
陆征祥一行从北京出关后，日本外务省即派专车在南满铁路迎接。陆征祥本来就怕冷，又是在冬天坐车行驶在这冰天雪地的北国，冻得浑身直打哆嗦，于是，便命人在车厢里生火取暖，使温度一下子增至摄氏20多度。后来，加煤工人熟睡，煤火熄灭，温度又下降至零下七八度。这一热一冷，使陆征祥在到达日本横滨时就病倒了。虽然他取消了天皇的接见、茶会和受勋仪式，却不得不带病与日本外相会谈。在经过几番折腾后，待陆征祥从横滨上船时，突然惊叫起来，原来，他的绝密文件箱竟不翼而飞。里面装的都是民国关于东北、山东、蒙古、西藏等问题的绝密外交文件。此箱总是由陆征祥亲自携带，以防不测。他自以为不会出问题，实际上，他从出关之日起，一举一动全在日方严密监视之下。
陆征祥丢失文件后，恰似哑巴吃黄连，有苦难言。他知道日本方面偷盗文件箱一是为了窃取机密，了解我方在巴黎和会上的立场，好采取对策;二是为了打击他的气势，影响他在和会上的声誉。于是，陆征祥装出十分坦然的样子，即向北洋外交部电告，嘱重抄一份，陆续电告代表团。
民国是战胜国之一，按理可在盟国帮助下收回被德国占领的山东半岛，哪知帝国主义早勾结一气，把山东当礼物送给了日本人。这次，陆征祥和北洋政府代表团的其他成员硬顶住北洋政府压力，拒不签字。陆征祥和顾维钧等一方面尽力向与会国代表呼吁寻求支持，另一方面向北洋政府表示:宁辞职而不签字，不卖国。
陆征祥所以能在那种黑暗的政治环境下仍有外交上一番作为，还因为他深受一个人的影响，这就是他奉为恩师的许景澄。
1884年，许景澄才三十九岁，便出任驻法、德、意、奥、荷五国公使。
许景澄一心要栽培陆征祥，但又极讨厌拜师或结金兰一类陋俗，便对使馆其他人说因陆是新人，需对其格外多加指点。陆征祥到了公使馆后，每天晚上都去许公使的房间，听公使向他传授外交礼仪，解答疑问。一次许公使讲到这么一件事:北洋政府驻法国的使馆当年租的是巴黎民房，租约到期，公使退房，房东却不接受，声称要北洋政府方面修缮后才能接受。原来民国使馆从门房到公使个个吸水烟，把滚烫的水烟筒乱放，结果连地板都弄脏了。使馆的差役疏于打扫，房东家里几代人挂在墙上的画也被虫蛀坏了。房屋被糟蹋成这样，房东怎么不气呢?许景澄把这讲给陆征祥听，告诫他不要不拘小节，不能蹈其覆辙。他对陆征祥说:“我不会要你一开始就做大事或难事，只要求你从平常之处做起。首先从'不'字做起--不吸大烟、不赌、不去声色场所，你做得到吗?“他还告诉陆征祥外交非立时可学，外交人才亦非立时可造。“你若有志，当潜心用功，仔细观察“。陆征祥把这些记在心里，努力照办。
都知道陆征祥他曾当过北洋政府的外交总长和总理，在袁世凯的逼迫下，与日本签署了丧权辱国的“二十一“条，由此背上了“卖国贼“的骂名。然而，大错铸成之后，在以后的日子里，陆征祥带着强烈的负罪感，走上了一条漫漫的忏悔之路。1926年4月26日，他辞去了民国驻瑞士公使一职，不久，于比利时布鲁日的圣安德诺修道院修道。从此，当上了一名神父。但祖国在他心里还一直不能忘怀，抗日战争爆发后，他利用在当地所主办的报纸，还到各地发表演讲，介绍军民浴血奋战的情况，呼吁欧洲各国人民支持抗战。并利用传教的方式反抗纳粹对比利时的占领，一度还上了盖世太保的“黑名单“。抗战胜利后，他再一次因签署“二十一条“向国人表示忏悔，并祝贺祖国一雪前耻，衷心希望国家从此走上振兴之路。
