小学毕业以后，赫兹进入了初中，他再也不像小学里那样贪玩了。他好像换了一个人似的，整天不停地看书。在中学期间，他开始显示出他在数学和自然科学方面的天赋。由于他比，较重实用，他打算在中学毕业以后从事工程，虽然此时他还显得幼稚，对自己的未来还没有形成一个鲜明的目标。
整个中学阶段，基本上都在接受老师所灌输的知识。中学毕业以后，赫兹去了法兰克福。
在法兰克福，他一边工作，一边自学。准备参加工程师资格考试。那时，赫兹才18岁。对于这样一个出身不错的小伙子，从来没有经历过任何苦难，没参加过任何工作的人来说，其辛苦是可想而知的。可是，赫兹却相当的能吃苦耐劳，在工作之余，他还要挑灯夜读。
在他小小的陋室中，显得那么凌乱。随处可见的书籍，一盏昏暗的灯伴随着他度过了一个又一个的夜晚。凭着他的不懈努力，他修完了法拉第、奥斯特等人的著作。
可是，命运的安排却使赫兹的生活一波三折。在德累斯顿工业学校学习不久，赫兹便于1876-1877年去服兵役，然后去了慕尼黑。赫兹本拟仍学工程学，可是，他却逐渐爱上了数学和自然科学。遂于1877年在征得父亲的同意后进入了慕尼黑大学，起初主修数学，但他的根本兴趣则在于对自然的探索。
在这段时间，他一头沉浸入数学的海洋有次他曾风趣的对别人说：
“代数嘛，就像打猎一样有趣。那头藏在树林中的野兽，你把它叫做x，然后一步一步靠近它，直到把它逮住。一旦你逮住它，那种成功的喜悦是不言而愈的。”
这时的鲁道夫·赫兹已经开始用他自己的眼光来看待世界和所有的问题，包括他所钟爱的数学和自然科学。他看到了数学的光辉历史和重大的作用，便一头扎入了数学的浩翰大海。这时他才深深地感受到数学原来竟然如此美妙。每当证明出一道证明题：会体验到发现真理的快感。那一个个定理的证明，严密得滴水不漏，使人不能有半点怀疑，人的思维是那样明晰，那样可靠，给他留下了难以磨灭的印象。他探索，他惊奇；他又思索，他更惊奇。
在这种心情的驱使下，在他的导师约里的指导下他阅读了拉格朗日、拉普拉斯和泊松等人的著作，按照历史的发展学习了数学和力学。自此，他开始真正步入了高等数学的殿堂。在慕尼黑大学里，赫兹几乎是两耳不闻窗外事，一心只读圣贤书。在这里，他表现出超人的领悟力。本来，在准备从事工程学的努力中，他已培养了实践的能力，而在以后的几年又打下了坚实的数学基础，这就为他成为物理学家准备了必要的条件。
当时德国大学的风气是学生们经常在各个大学中“流动”。在慕尼黑过了一年以后，赫兹转入了柏林大学。当时，柏林大学的学术气氛很浓。无论是年轻学者，还是德高望重的教授，他们经经常出没于各种学术讨论会。柏林大学，当时是执世界物理学牛耳的学府，赫兹和后来对他一生的科学产生重大的影响的亥姆霍兹建立了密切的联系。虽然，当时赫兹还只是二年级的学生，他却因为学习功课的压力比较轻，学有余力，他在亥姆霍兹的支持下开始了正式的科学研究。亥姆霍兹在物理系给他拨出了专用房间，向他提出了研究课题，介绍了文献。
从少年时期开始，鲁道夫·赫兹就是一个勤奋好学的人。他偶尔也参加一些娱乐活动及政治活动，但都没有表现出较大的兴趣，他认为这不如探索并阐发大自然的内在规律来得有意义。在19世纪70年代，当时赫兹正在大学里学习，亥姆霍兹已经在电磁学方面作了许多研究，但是这一领域仍然处在起步阶段，人们对电磁理论的认识还处于莫衷一是的状态。在德国，当时的许多著名科学家还局限在机械论的框框内。人们提出了种种不同的假设，不同的相互作用势，理论很繁杂，但是不成系统。还远远没有得到普遍承认。就在这种情况下，赫兹在亥姆霍兹的指导下，开始着手电磁理论的研究。当时，亥姆霍兹企图从众说纷纭的理论中筛选出合理的东西。1879年，他在为柏林普鲁士科学院设计有奖征文题目时设想了三个实验课题：（1）证实介电极化将像传导电流一样发生电磁作用（即麦克斯韦的位移电流的概念）；（2）证明空气和真空在电磁行为方面和其他电介质类似（场的观点），（3）证明电磁作用也像静电作用一样导致电极化（场的观点）。在1879年赫兹完成了他的第一项研究工作（电流动能的上限的实验测定）以后，他就因这项研究在该校哲学系获得奖章。随后，亥姆霍兹曾建议他研究上述问题，但是他认为问题太大，当时没有接受，却开始了他的博士论文的写作。在短短的三个月中，赫兹几乎沉浸于其中，他夜以继日地在图书馆中研读别人的著作，博览群书，对前人的工作进行了系统的全面的比较分析，并在他们的基础上对问题进行了彻底的处理。在这三个月中，他完成了他的学位论文，论文是纯理论的。
赫兹于1880年在柏林大学以并不多见的优异成绩获得了博士学位。随后应亥姆霍兹的要求，留在该校任亥姆霍兹的助教，领取薪金。他在此任职三年。在柏林的这三年中，本职工作琐碎而枯燥，但业余时间甚多，这就使得他有足够的时间进行研究。
在柏林大学任教时，他曾一度转移了他的研究方向，把他的触角传向了力学领域。赫兹在他的一生中，始终注意甩理论去指导实践，把理论和实践紧密地结合起来，做到了理论研究和科学实验并重。赫兹一生中作出了不止一项的重大实验发现，而同时对基本规律的概括和表述也给予了充分的注意，在实验的基础上进行提取升华，上升到理论阶段。在力学的研究中，他对弹性力学和流体力学的理论和实验都进行了探索。而在后来他又回到了所钟情的电磁学领域。他选择了辉光放电的连续性质。这三年中，他发表了15篇文章。主要涉及电学问题。
