大学期间，他也常常思考自己的人生。世上有不少人毫无理由就落入不幸，受到命运的虐待，我该做些什么呢？他希望去分担遭受不幸的人们的痛苦，却又难以割舍做学问、学音乐的喜悦，当这两种截然不同的思绪在心中交战时，他实在不知如何是好。就在他21岁那年夏天的一个早晨，《圣经》上的几句话浮现在脑海：“只为自己活着的人将失去生命，只有为了福音献身的人，他才能永生。”
他忽然明白了耶稣说这句话的意义。除了外在的幸福，人生还应获得内在的幸福。他决定在30岁以前为学术和艺术而活；30岁以后，将献身于一项直接为人类服务的事业。至于到时采取什么样的方式并不明确，对此，把它留给到时所处的境况来决定。
史怀哲大学毕业后成为一名牧师，帮助更多的年轻人树立美好的信仰。后来又成为大学的神学讲师以及神学研究所的所长。从1898年至1908年的十年间，共出版书籍8本，其中1905年，出版法文版《巴赫论》，被认为是自有巴赫的研究书籍以来的最高水平的著作，也使他在音乐界一夜成名。其后，又出版过6本书，有多本书被翻译成多种文字在世界各地出版。
史怀哲在公益事业上的最初打算是在欧洲服务，想收容和教育被遗弃或无人照管的孩子，并要求他们今后也承担起相同的义务。1903年，他已经有条件去尝试为这样的孩子们做些事情，可有关机构根本不允许志愿者参与此事。一次，当斯特拉斯堡孤儿院失火后，他向院长请求暂时收留几个孩子，也遭到拒绝。此外其他的尝试也均告失败。有一阵子，他考虑今后为流浪汉和刑满释放者提供服务，在一定程度上也做了相应准备。
1904年秋天的一个早晨，读到巴黎传教士杂志上一篇标题为《刚果传教团迫切需要什么》的文章，加深了他对生活在非洲黑暗大地的被殖民统治的受尽欺凌迫虐的不幸民族的了解，了解到由于教会人手不足，在非洲加蓬救济土人的工作，几乎无法着手。这一刻，他便下定决心，要去非洲，并且以一个医生的身份去。他完全不懂医学，为什么有这样的计划呢？他想不仅靠语言，更靠行动来传播爱。非洲土人医疗落后、环境恶劣，去行医是最恰当的方式。要当医生需要从头学起。而且到非洲去医治土人，光学一些专门的科目是不够的，必须当一名万能医生，才能应付那种局面。这对于一个30岁的人来说，是一个很大的挑战。不安和迷茫也曾掠过史怀哲的脑际，可他发下了重誓，凭借自己的健康与毅力，一定要完成这个心愿。
1905年10月13日，他向双亲以及若干亲近的人发信告知了自己的决心。很快，引来了一场可怕的冲击。几乎所有的人都反对他，认为他辛勤奋斗许多年而得来的今天的一切，却要去放弃，实在愚不可及。人们认为为非洲野蛮人服务，实在不必由天才来做。史怀哲应该献身于学问和艺术的世界，这才是他对人类的最大贡献。把他当亲生儿子看待的魏多老师，发疯一般地向他怒吼：“我倾注那么多心血把风琴弹奏的所有技巧教给你，是希望你传给后世的。你却要把风琴丢弃，跑到非洲食人族的地方去，你去了又能怎样？能为他们做些什么？你知道这是对我、对风琴的背叛吗？你这个忘恩负义的家伙！”也有人说：“他是不是因为失恋了，所以疯了？”有人说：“他江郎才尽了，知道自己做一个学者或者音乐家，都不会有前途，所以想干一件让人想象不出来的事情出风头，他是一个爱出名的野心家吧。”最令史怀哲不可思议的是，连平时满口仁爱，力陈牺牲自我，为不幸的人们服务，传播基督伟大精神的人们，除了极少数之外，都异口同声地反对他的决定。面对这一切，史怀哲以一个理性而成熟的男人对理想对人生的执著追求而默默地忍受着，并静静地付诸自己的行动。
1905年10月底，他向医学院长提出了入学申请。院长当即满怀好意地让他去精神病教授那里看看。但是在明白史怀哲的真正企图以后，深受感动，接受他入学并免交全部学费。在医学院学习的7年，是与疲劳作斗争的7年。刚开始他不能够放弃神学讲师和牧师的职务。在学医的同时要在神学系讲课，同时作为牧师几乎每礼拜天都得去布道。正在从事的著作也不能半途而废。此外，人们也要求他更多地参加管风琴演奏的活动，经常要去外地演出。这不仅由于他已是一名出名的管风琴家，还由于失去了神学研究所所长的收入之后，必须挣一些外快。直到1911年12月，通过全部医学考试，得以毕业并获得医师资格。1913年，以《耶稣的精神心理分析》论文获得医学博士学位。
面对学医期间的困苦，史怀哲在给朋友的信中这些描述着自己的感受：
现在，我们坐在这里研究神学，为的是在以后争夺最好的牧师位置；我们写下厚厚的学术著作，也是为了成为神学教授。而在海外发生的一切，那里事关耶稣荣誉和名义的斗争，则与我们无关。我不想为了成为一个“著名的”神学家，而把自己的生命一直耗在“批判的发现”上。
我不能这么做，我已经长期地、反复地考虑过。最后，我终于明白了：我的生命不是学术，不是艺术，而是奉献给普通的人，以耶稣的名义为他们做任何的一点点小事情。空气流向“真空”的地方，理解精神法则的人，必须前往为人们所必需的地方。
当然，学医的日子极不容易，但我的内心宁静而又充满了幸福感。我的生活是艰苦的，然后是美的。您不要认为我是一个沉于幻想的人，实际上，我是一个非常客观和冷静的人。我从青少年时代就开始反复思考人生的意义。最终的结论是：关键在于行动。
学医期间，美丽的女孩海伦·布勒斯劳走入了他的世界。她是斯特拉斯堡大学的一位历史学教授的女儿。海伦从文稿的誊写、印刷的校正到一些琐碎物品的购买，都在帮助史怀哲。另一方面为了帮助他的医疗工作，海伦还努力学习护士的工作。1912年6月18日，史怀哲与海伦结婚。海伦与心爱的丈夫相伴走过了45年幸福美满的生活，他们一起在大海上长途旅行、一起在非洲丛林中漫步、一起为成千上万的病患土人忙碌……他们有着深挚的爱情和信任，平淡而温馨的一生。史怀哲数十年生活在艰苦的非洲大地，历经两次世界大战，一生经历无数艰难险阻。能够从容淡定，并活到90岁高龄，一生默默陪伴和支持的爱人给了他许许多多来自内心的力量和勇气。1965年史怀哲逝世后，与夫人海伦一起，葬在加蓬共和国兰巴伦医院旁。
1912年开始，史怀哲开始为前往非洲进行准备。他向巴黎的传教士协会申请自费在加蓬的兰巴伦设立一所医院的许可；到殖民部申请在加蓬行医的许可；购买各种日用品、医院所需的物品以及药品。史怀哲之前所从事的都是精神上的工作，现在却整日在体力上操劳，开始时他觉得做这些事情是一种负担，但后来逐渐体会到，全身心地处理实际事务也是值得的，甚至认为一次理想的订货是一种艺术享受。
史怀哲感受到，最重要也是最艰难的是筹款。为一项其合理性尚待证明，现在还只是一种意图的事业筹款，感受到了十分的艰难。原先有许多反对他的朋友也尽弃前嫌，诚心给他帮助。魏多老师最为热心，为他举办多场演奏会，把门票收入都捐给他。还建议巴赫协会订制一台上等的管风琴兼用钢琴送给他。当然，筹款过程中也遭遇过许多不快。在有些人的口气中，史怀哲好像不是一个拜访者，而是作为一个乞讨者来到他们那里的。
1913年春季，史怀哲与夫人海伦历时50天，来到了自己生命的第二故乡加蓬。此地现今已成为加蓬共和国，当时为法属赤道非洲的一部分。16世纪初，就有传教士在这里开展活动。这里有错综复杂的原始森林、沙洲和湖沼。这里有各个部落的土人，还有食人族。这里天气酷热，湿气大，豆类不会结果，谷物也无法栽植。面粉、米、牛奶、马铃薯等都需要从欧洲供应，布料和药品更不用说。兰巴伦在赤道偏南处，冬夏两季与北半球相反。冬季气温约在25～30摄氏度，夏季则在28～35摄氏度。欧洲人在此多半住了一年之后，就会疲劳过度与贫血，两三年之后失去工作能力，至少得回欧洲休养半年以求恢复。在史怀哲来到之前，此地方圆数百公里之内，连一个医生也没有。土人生病，只有依靠传统的医师施咒作法，万一来了传染病，情形真是悲惨之极。热带的传染病很多，其他得肺病、心脏病、肠胃病、皮肤病的人也很多。土人们对它们一筹莫展，只有让无数的人在丛林里一个个倒下。
史怀哲从到达非洲的第一天起，就被一大群病人团团围住。刚开始器材和药品不足，连房间都没有。史怀哲只能在露天工作，白天戴着遮阳帽仍然有日晒病的危险。此外，每天到傍晚时分还一定有一场骤雨，每当雨来的时候，便得慌慌张张地把物品搬到回廊下。几天以后，诊所每天要接待大约40个病人。皮肤病、麻风病、昏睡病、心脏病、肺病、酒精中毒、精神病、风湿病、坐骨神经痛、痛风、慢性腹泻病、尼古丁中毒、痔疮便秘、牙病、小腹肿胀、癔病、疝病等都是常见病。史怀哲必须成为一个全能医生。史怀哲日以继夜医治他们的身体，更关怀他们的灵魂。他也是土人的严父、兄长、工头和密友。在丛林中，他亲自和土人建医院，自制砖头、配药方、拓农场。在当地的加洛阿语中，史怀哲的名字叫“奥甘加”，是“巫师”的意思。
土人长期生活在自由散漫的环境中，群体居住，靠天吃饭，他们会有很多不恰当的行为，不仅不懂得守规则，甚至会心安理得地随手拿医院的各种东西，会在病房里烧火做饭，等等。史怀哲不得不制定医院规则，由助手每天早上向看病的人宣读一遍，并请大家传达给村子里的人们。
史怀哲制定的医院守则有：
1.医院附近不要吐口水。
2.等候的时候不要高声谈话。
3.有时上午看不完所有的病人，所以患者与陪伴人应带一天的粮食。
4.未经医生许可就在传教办事处住宿的人，不给药，还要下令离开。（这是因为有些患者闯进学童宿舍，抢去床位）
5.盛药的瓶罐一定要交还。
6.每月中旬从船来到，到开走的期间，除了急症外，不受理普通患者。（这是为了利用这段时间来写信，向欧洲订购药品）
史怀哲给人看病，从未想到向黑人要医药费。除了需要考虑医疗器材和药品外，还得常常为病患及陪伴人准备粮食。但有的土人并不珍视不劳而获的东西。为了使医院能够长久生存下去，也为了使土人学会感恩，学会对医院的珍视。于是他耐心地告诉他们，他们被救了，在诊所得到了善待，而欧洲的许多人则为此做出了牺牲，因此他们也应尽力为维持医院的生存做些事情。渐渐地，土人们懂得送谢礼来了。有的交了些钱，有的送来了东西，如鸡蛋、香蕉等。这些对医院的生存所需如杯水车薪，但大家更懂得爱护东西了，医院的秩序也渐渐建立起来。当然，对贫穷的人和老年人，他从不接受谢礼。
史怀哲是一位重视人类灵魂幸福的信仰家。他所致力的，与其说是改善土人的生活状态，更毋宁说是把正确的信仰教给他们，让他们从迷信中脱离出来。每逢礼拜，他都运用最简明易懂的话来讲道，他的心中充满挚情与喜乐。
然而，前行的路困难重重。在非洲设立殖民地的国家，其统治目的无外乎一个利字。从欧洲和美洲运来大批的白兰地的工厂制品，破坏当地人的生活和产业，使得当地人们大量失业。有的白人常常向黑人巧取豪夺、贪得无厌，使黑人对白人缺乏信任和尊敬。
史怀哲不是铁打的，他也常常会感到身心疲惫。在一个孤寂的夜晚，他偶尔试弹巴黎巴赫协会送给他的管风琴兼用的钢琴，给他消沉的情绪带来奇异的慰藉，使他整个地没入无可比拟的喜悦与陶醉之中。他还切实地体会到，唯有远离欧洲喧闹和功利的音乐会，不受任何干扰，才能体会到如此美妙的感觉。
1914年，由于健康问题以及经费的短缺，史怀哲和夫人准备回国一段时间。可就在此时，第一次世界大战爆发。1914年8月到11月间，德籍的史怀哲夫妇成了法国的俘虏。医院也只好关门大吉。史怀哲倒因此有了宽裕的时间，能静下心来看书写作。他利用这个机会，思考和梳理了长久以来就放在心上的有关人类文明的问题。史怀哲在自己的书中写道：
欧洲凭借发达的工业文明，控制和领导了世界。在亚洲、非洲建立殖民地，巧取豪夺，借此过上安逸生活。他们自我满足，只知享乐，醉生梦死，年轻而充满活力的精神失落了，耶稣所教的爱更是丧失殆尽，这样的社会是好的吗？
文明的进步应该是使人类更加幸福。所谓幸福绝不是靠物质能够满足的，人与社会能在道德方面向上，才能称为进步。
而当前的人类社会，物质文明的飞跃进步，炫惑了人类心智，人们只知追求物质的欲望，一般人不说，连诗人、思想家、哲学家——这些人类的良知，也都浑忘道德的价值。人类受物质控制，最终使人类受到不幸。这样下去，人类岂不是只有自取灭亡吗？
