在中世纪初期，西欧的文化教育非常落后。普通老百姓通常是不识字的，就是贵族大臣们也都很无知。政府文告、外交书信都是用拉丁文写的，这种文字当时只有少数教士才能掌握。文化教育全被教会所垄断。后来，随着城市的发展和工商业的日益繁荣，逐渐出现了城市的学校。这些学校，就是后来中世纪大学的基础。
西方现代大学多是从中世纪大学发展而来的。最初的大学不是由教育部门批准建立的，而是自发形成的。中古初期，教会、修道院学校掌握着教育，具有明显的宗教色彩。中世纪的世俗大学是市民阶级的产物，它们在城市与行会组织获得发展的条件下形成。
“大学”一词来源于拉丁文“UniverSitas”，指综合性的研究场所，或指有权决定学校事务的学生或教师会(联合会)。就是说，教师和学生为保障自己的权益，组织一种特殊的行会，负责训练教师，准许教师授课颁发文凭。
在西欧古老的大学中，最着名而又典型的，要数法国的巴黎大学了。早在12世纪前半期，巴黎大学就开始形成。1200年，法兰西国王腓力二世颁发诏书，批准了这个大学制定的法规，于是巴黎大学正式诞生。巴黎大学很快成为欧洲各地前来求学学生的集中地。据说有个时期，巴黎大学的学生达5万人之多。大学吸引着这么多青年，是因为他们结业后，总是被归入神职人员一类，可以享受许多特权：不受国家约束，不纳税，只在教会法庭上受审等。巴黎大学和西方其他大学一样，一律使用拉丁语进行教学，所以它能接纳欧洲各国通晓拉丁语的学生。
巴黎大学是学生和教师联合组成的。此外，为它服务的人，如书贩、信差、药商、抄写人甚至旅店老板等，都算是大学的成员。教师们按照他们自己的才能，也就是能教某种学科的能力，分别结合成不同的团体。现代大学中的“系”，就是从拉丁语的“才能”这个词转化而来的；而从中选出的“首席”或“执事”，就是后来所称的“系主任”。
当时全校共设有四个学科：文艺、医学、法律和神学。文艺学科属于普通科，学习“七艺”：语法(包括拉丁语和文学)，辩证法(即逻辑学)，修辞(包括散文、诗的习作和法律知识)，几何(包括地理和自然历史)，算术，音乐，以及天文学(包括物理学和化学)。这个学科的人数最多，修完后可以得到学士学位。其他三个学科是高级科，只有普通科毕业的学生才能升入，修完后可以获得硕士学位。取得了学位后，才有在大学当教师的权利。不过能取得学位的人并不多：获学士学位的不过1/3，而获硕士学位的仅占1/16。
在学生中，也按照他们出生的地区分成各个团体，称为“学馆”。每个“学馆”都有自己的宿舍、食堂、小教堂以及舍监和导师。这种“学馆”，后来发展成为“学院”，它的名称一直沿用到现代。每天清晨，学生们到教堂做完弥撒，就去教室上课。学习的方式，主要是听讲、记笔记。教材大都是古代传下来的一些名着。教师一边读，一边解释，不允许学生怀疑它，也极少实验。即使是医学教学，也几乎不采取活体解剖的必要实验，因为中世纪时是绝对禁止作人体解剖的。某些解剖学的知识，还是从阿拉伯的医书上引用来的。
最使教师、学生感兴趣的，是参加辩论会。要想获取学位的学生，都必须经过公开的答辩。在平时，巴黎大学也经常组织辩论会。这种辩论会主要是本校教师参加，有时还邀请其他大学的教师来辩论。有一次，英国牛津大学出身的一位硕士，来巴黎大学参加辩论会。他听取了200条反对的意见，竟能全部当场记住，并且立即依次加以反驳。在辩论中气氛非常热烈，有时双方情绪十分激动，甚至互相扭打起来。
基督教教会十分嫉视不受它管辖的巴黎大学，千方百计运用宗教权力来控制它，并迫害那些违背基督教教义的教师。巴黎大学有位名叫阿摩利的教师，提出一种“泛神论”的哲学观点，说神存在于自然界一切事物之中，没有什么超自然的主宰或精神力量。这位教师死后，他的学生更发展了这种观点，断定上帝是随各种本质显现出来的，并不是基督教教会现在所宣传的那个上帝，并主张教会应当抛弃现有的教义和圣礼。这一下可触动了教会赖以生存的基础。教会借此采取了严酷的镇压措施。1210年，由教会法庭“判决”阿摩利的10个学生火刑处死，甚至连阿摩利的尸体也从坟墓中掘出来焚毁。不久，教皇又下令禁止学习古希腊学者亚里士多德关于玄学和物理学的全部着作。巴黎大学教师西格尔继续教授这些着作，被抓到教廷监狱中就地打死。
到13世纪中叶，巴黎大学已经完全被教会所操纵。学校中许多具有自由思想的教师，不是遭到残酷的迫害，就是被教会下令驱逐出去，学校里的神学课程，都交给了天主教的教士讲解。他们所论证的命题，大都是从圣经中引来的，并不是真正的知识；他们完全轻视经验，崇奉教会权威，压制自由思想。这就是所谓“经院哲学”。
除了巴黎大学以外，欧洲最古老的大学还有意大利的波伦亚大学，英国的牛津大学和剑桥大学，西班牙的萨拉曼加大学等等。这些大学都是在12世纪到14世纪创立的。到15世纪末，欧洲已有40多所大学了。
