1066年圣诞节后,征服者威廉一世为控制伦敦商业社区,扼守通往伦敦池的通道,于1087年开始在泰晤士河北岸、伦敦市东侧兴建中央城楼白塔。12—13世纪,以白塔为中心向墙外扩展,形成内外两层的防御要塞。内城墙上建有塔楼13座,外城墙上有6座,并有两座堡垒,四周挖有护城河,整个建筑面积为7公顷。城堡只在西南角有一陆上入口,13世纪在河流上建一水门为主要通道。该塔长期被作为国家监狱使用,因此水门也被称作“叛逆者之门”。塔中军械库里收藏有中世纪初期到现代的各种武器。17世纪前为王室住地,现在驻有军队。该塔及其周围地区被划为“自由区”,不受伦敦市长和伦敦主教管辖,一般由陆军元帅担任要塞总管。
塔内有管理仪仗卫士的常驻长官,仪仗队至今仍着都铎王朝时代的军服。