卢瑟福出生在新西兰南岛纳尔逊附近一个苏格兰移民后裔的家庭里，祖祖辈辈都是农民。他的父亲是个既勤奋又肯动脑子的人，他不甘心种一辈子地，就办起了一个亚麻厂。他试验用几种不同的方法浸渍亚麻，结果他生产出了全新西兰最好的亚麻产品。他还设计过一些装置，利用水力驱动机器，大大地提高了工作效率。
在父亲潜移默化的熏陶下，卢瑟福从小就喜欢动手动脑。他家里有一个旧钟，用了很多年，动不动就停下来。家里人都认为它没法再用了，但卢瑟福却不同意把它丢掉。他把旧钟拆开，清洗了钟内积存多年的油泥，把每一个零件重新调整到位，再重新装好。旧钟修好了，还走得很准。
当时照相机是比较贵重的东西，家里穷买不起，卢瑟福就买来几个透镜，七拼八凑居然做出了一台照相机。他自己拍摄自己冲洗，成了一个小摄影迷。
卢瑟福的母亲也是一位小学教师，她特别重视对子女的教育，宁肯自己节衣缩食，也要供孩子上学读书。10岁那年，母亲给卢瑟福买来一本《物理学入门》。这本书写得很有趣，不仅讲解了一些基础知识，还介绍了一系列简单的实验过程。正是这本书把卢瑟福引上了研究科学的道路。读完这本书后，卢瑟福将自己的年龄和名字歪歪斜斜地写在书页上，那时他差一个月才满11岁。特别值得一提的是，这本书的作者巴尔佛·司徒华是曼彻斯特大学教授，他是汤姆逊的老师，而汤姆逊又是卢瑟福在剑桥大学读研究生时的导师。
卢瑟福中学毕业后，准备报考纳尔逊学院。为了减轻父母的负担，他参加了竞争州政府奖学金的考试，结果满分600分他得了580分，赢得了奖学金，足够他自己的开支。在纳尔逊学院学习的最后一年，他又获得了进入新西兰坎特伯雷学院深造的奖学金，在获奖的10个人中，他的成绩名列第四。
在坎特伯雷学院学习期间，他的数学和物理成绩总是名列前茅，毕业时获得了文学学士、理科学士和硕士学位。这时候的卢瑟福完全可以找到一份很体面的工作，但他决心在科学研究中取得更大的成绩，于是就申请了进入剑桥大学深造的奖学金。卢瑟福参加了考试，和一个叫麦克劳林的人都具备了录取条件，但名额只有一个。基金委员会经过讨论，决定把奖学金授予麦克劳林，卢瑟福只能等待别的机会了。
1895年4月的一天，卢瑟福正在自家的菜园里挖马铃薯，忽然看见母亲兴高采烈地向这里跑来，手里拿着电报纸，不断地摇动着，还用劲地叫喊：“你取上啦！你取上啦！”卢瑟福不明白母亲这是什么意思，等他看到电报才明白，原来基金委员会改变了主意，把这项奖学金授给了他。这从天而降的喜讯把卢瑟福乐坏了，他一下子扔掉手中的铁锹，激动地跳起来高叫道：“这也许是我要挖的最后一个马铃薯了！”事后他才知道，这个名额是麦克劳林主动放弃的。他已经结婚了，想带妻子去英国，但光靠奖学金养活不了两个人，于是他就决定留在新西兰。
这一年9月，卢瑟福筹借到了路费，告别了双亲，登上了开往英国的客轮，开始了他献身科学的航程。
到达英国后，他被卡文迪什实验室主任汤姆逊收为研究生。这时候，剑桥大学的课程正经历着一个重大变化，给了实验训练更大的比重，实验室也对外国学生开放。
第一位享受到这个变化好处的学生就是卢瑟福。他在新西兰读大学时就自己动手制成了一种灵敏的检波器，试验拍发了在新西兰大地上的第一封电报，并发表了电磁学方面的论文，剑桥大学优越的试验条件更是为他插上了起飞的翅膀。没过多久，他的名声就在校园里传开了。一位同学这样写道：“我们这里从地球上与我们相对的地方来了一只兔子，它正在挖掘非常深的洞。”
起初，卢瑟福继续研究磁学，1896年春末，卢瑟福接受了汤姆逊的建议，开始了对原子的探试。探试的第一步就是抓住镭放出的射线，看它到底是些什么东西，然后就可以顺藤摸瓜追踪原子内的秘密了。卢瑟福天生是个实验的好手，他立即设计出了一个实验方法：将一个铅块钻上小孔，孔内放一点儿镭。这样射线只能从这个小孔里发出，然后将射线射到一个磁场里。
奇怪的现象出现了！一束射线立即分成三股，一股靠近N极偏转，一股靠近S极偏转，还有一股不偏不倚一直向前，卢瑟福给它们分别取名为α、β和γ射线。经过测定，β射线就是汤姆逊发现的电子流，γ射线就是伦琴发现的X光，居里夫妇发现的放射性就是α、β和γ射线。卢瑟福真是出手不凡，他只用一个实验就把19世纪最后10年的三大物理发现全部解释清楚了。
1898年，卢瑟福研究生毕业，正好加拿大麦克吉尔大学物理系派人来剑桥聘请教授，汤姆逊认为卢瑟福是最好的人选，就为他写了一封推荐信。他在信中这样写道：“我还没有过一个学生比卢瑟福先生对那些有独创精神的研究工作有更大的热情和能力。我肯定，如果他入选，他会在蒙特利尔建立起一个杰出的物理学派。我认为，任意一个机构能为卢瑟福先生提供物理学教授的就职机会将是幸运的。”
就这样，卢瑟福横渡大西洋来到加拿大。在麦克吉尔大学物理系，他遇到了一个比他小七岁的年轻助手索迪，索迪的化学知识很丰富，这正好弥补了卢瑟福化学知识上的不足。这时，卢瑟福又想起了在剑桥时碰到的一个老问题，α粒子从所具有的电量和质量来看很像元素氦，有索迪做助手，卢瑟福马上开始做验证。实验结果出来了，α射线果然就是氦流。那么镭放出α射线后剩下的又是什么呢？经过实验，竟然又是一种新元素氡。于是卢瑟福宣布，放射性既是原子现象，又是产生新物质的化学变化的伴随物。
1907年，为了表彰卢瑟福的这一重大发现，诺贝尔评审委员会授予他诺贝尔化学奖。
一位物理学家获得了化学奖，这让卢瑟福感慨万分，他不无幽默地说：“这真是太妙了！我一生中研究了许多变化，但是最大的变化是这一次，我从一个物理学家变成了一个化学家。”
1919年，汤姆逊退休，卢瑟福接替他成为卡文迪什实验室主任。卢瑟福平时脾气急躁，但是从不对学生疾言厉色，也从不说哪个人不行或没有希望。他心胸广阔，为人坦诚，宽容待人，强调团结协作，使实验室好像一个大家庭。科学界赞誉他“从来没有树立过一个敌人，也从来没有失去过一个朋友”。在这样一种良好的氛围里，卢瑟福领导的卡文迪什实验室取得了累累硕果，在他的助手和学生中，先后有11个人获得了诺贝尔奖，卡文迪什实验室因此被誉为“诺贝尔奖摇篮”。
卢瑟福经常组织一些轻松的学术活动，让大家随意发表见解，这个时候，他的态度总是很和蔼亲切。但是他对大学本科生的实验训练非常严格，每逢实验考试，他两三天不回家吃饭，自己带饭进实验室，实验不及格的学生就不能毕业。研究生写出的论文，他总要仔细审阅和修改直至满意，才推荐出去发表。他经常付出很大精力帮助别人搞研究，而发表成果时从不写上他自己的名字。
俄罗斯物理学家（1978年诺贝尔物理奖获得者）卡皮查曾在卢瑟福的领导下工作了14年。卢瑟福很喜欢这个既能干又很有思想的年轻人，曾动用一大笔经费为他专门建立一个蒙德实验室，用于研究强磁场，任命卡皮查为实验室主任。卡皮查在实验室的墙上雕了一条大鳄鱼。在英语中，“鳄鱼”这个词代表着勇往直前，不怕困难的精神，卡皮查非常敬重卢瑟福的这种精神，就给他起了这样一个绰号。
1934年秋，卡皮查回国探亲，被苏联政府留在国内不许他再回英国了。没有了实验室，卡皮查的才能发挥不出来，一连三年无事可做。卢瑟福利用自己的威望说服了苏、英两国政府，把蒙德实验室的全部设备和仪器运到莫斯科，并派一名得力助手帮助卡皮查安装。
1937年10月19日，卢瑟福患肠阻塞并发症逝世。英国国王代表、首相代表和很多政府要人出席了他的葬礼，10位抬棺者都是当时英国最着名的学者。卢瑟福的遗体被安葬在威斯敏斯特大教堂中牛顿和达尔文的墓旁，这说明他在科学史上的崇高地位堪与牛顿和达尔文并列。卡皮查在一篇悼念文章中这样写道：“卢瑟福不仅是一位伟大的科学家，而且也是一位伟大的导师，在他的实验室中培养出如此众多杰出的物理学家，恐怕没有一位同时代的科学家能与卢瑟福相比。科学史告诉我们，一位杰出科学家不一定是一位伟人，而一位伟大的导师则必须是伟人。”
科学家逸闻
思考的时间
卢瑟福在成为一个硕果累累的大科学家之后，仍然很重视读书和思考。有一天深夜，他看到实验室里亮着灯，就推门走进去，看见一个学生还在那里，就问道：“这么晚了，你在这里干什么？”
那个学生回答道：“我在工作。”
卢瑟福一追问，得知他从早到晚一直都在工作，就很不满意地问道：“那你什么时间思考问题呢？”
科学家逸闻
卢瑟福的失误
卢瑟福虽然论证了原子的核模型，一举把原子结构的研究引上了正确的轨道，但是他却低估了他这个发现的重要价值。他曾经断言：“就释放能量来说，用原子核来做实验，可以说纯属浪费。”然而，就在他死后两年，第一个裂变反应堆在美国芝加哥建成了，这标志着原子能时代的到来。这个事例又一次证明，看来似乎无用的基础研究，给生产力发展所带来的影响往往超过了最伟大的科学家的想象。
