1811年，莱奥波德已经晋升为约瑟夫国王军队里的将军，成为他朝廷中的显贵，并被册封为西冈扎伯爵。
这一年，莱奥波德的弟弟路易·雨果上校来到了斐扬底纳。路易是个快活人，雄辩滔滔，颇有能力，这时来到，暗示嫂嫂说哥哥愿意与她重修旧好。
路易银光闪闪的佩刀，他对西班牙绘声绘色的描述，军队中一切东西所具有的魅力，他的叙述既令人咋舌又骇人听闻，让雨果三兄弟既佩服又向往。
他告诉索菲——莱奥波德将军的夫人、三省总督之妻，将在那边获得一个极显要的地位。她将成为伯爵夫人，拥有万贯家财。约瑟夫国王赐给将军100万里亚尔的年俸，条件是他必须在那儿执事、定居。前途可观。但路易叔叔还描述了枪决人、火烧修道院、土匪伏击等情形。将军夫人和孩子们只能在车队保护下才能前往。
然而，路易的话并没有说通嫂嫂索菲。但是不久，银行通知索菲，说她丈夫寄来51000法郎，让她在法国购置一栋房子。这一下不得不让索菲好好想一想了。倘若孩子们的父亲果真登上荣誉之顶，那么，她难道有权利剥夺他们的优越地位？
约瑟夫认识索菲，曾在吕内维尔赞赏她风度优雅。因此，看到在西班牙，自己宫中的一位重臣竟然不惜名声，和某个自称为“萨尔卡诺伯爵夫人”的托马斯同居，他感到愤怒与不安。他希望合法妻子前来索回自己的地位。于是，他也派出好几位密使，将自己的决定告诉索菲。
约瑟夫作为一国之君，慨然答应保证他们的安全。于是索菲·雨果同意前往。
1811年春，雨果一家坐上了一辆华丽的马车出发了。沿途走得很慢。西班牙人对入侵的法国人非常憎恨，西班牙游击队常常袭击法国的马车，因此雨果家的马车，以及许多因事去西班牙的马车都跟着法国军队的运饷车一起前行。
浩浩荡荡的车队旁还有骑兵作为护卫，这一切使雨果感到分外新奇。到了第一个休憩站欧那尼小镇，镇内只有一条街道，宽阔的路面上铺着尖角的石子，在太阳下灿灿发光，行人就像踏在金银箔片上一样。
街上的房屋虽然都是农居村舍，但造得气势轩昂，再加上居住在这里的都是贵族，家家的门框上都刻着美丽的徽章，使雨果非常喜欢这个小镇，后来他写了一部很有名的浪漫剧就是用“欧那尼”命名的。
车队缓慢地往前移动着，远方出现了一片重重叠叠的房屋，中间夹杂着密如麦穗的钟楼。这就是西班牙颇有名气的古城布尔戈斯城。
这里有一座远近闻名的教堂。雨果兄弟一进城就迫不及待地和母亲一起去参观那个教堂。这是一座巍峨的教堂，它的外部结构很复杂，装饰着无数石刻的饰品，可是内部却显得异常简洁，高大的房柱，五彩的玻璃窗，古老的壁画，使教堂显得既庄严又神秘。
正当雨果仰头出神地望着教堂顶部的雕饰时，一面墙壁上忽然开出了一扇小门，从里面跑出一个衣服古怪、模样十分滑稽的机器人，他对空画了个十字，然后击了3下钟，又躲进了小门。雨果兄弟们看得目瞪口呆，赶紧跑到那扇小门前，目不转睛地望着。一位神甫告诉他们，这只不过是一座特殊的钟而已。
在这个庄严肃穆的教堂里面，有那个丑陋而又滑稽的小人儿使得雨果久久难以忘怀。在后来，正是从童年时代的这一印象当中，雨果悟出了一个道理：万物中的一切并非都是合乎人情的美，丑就在美的旁边，畸形靠近着优美，粗俗藏在崇高的背后，恶与善并存，黑暗与光明相共。
让雨果终生不忘的还有巴荣纳。他们在这儿待了一个月，等待车队到来。他也记得那个包厢饰有红布的剧院，他们在那里看了7次情节剧《巴比伦的陷落》。
雨果忘不了那些夜晚，他们兄弟三人胡乱地调着一盒颜料，以极其粗鲁的方式，在一册《一千零一夜》上放肆涂抹。这册书是拉奥里送的。
莱奥波德将军之妻、西冈扎伯爵夫人一路上备受尊敬。索菲花了2400法郎租来的6匹马拉的巨大四轮马车最为豪华，即便是西班牙的公爵夫人也不得不给这辆车让路。3个男孩为此感到自豪。
小雨果立即爱上了西班牙这块色彩鲜明的土地。风景一会儿明丽，一会儿阴暗。枫塔拉比亚海湾闪闪发亮，远远望去，像一块巨大的宝石。
莱奥波德并不知道是约瑟夫国王促使索菲来到西班牙的，他依旧和托马斯待在他的总督府里。不过托马斯是女扮男装，由他从那不勒斯带来的。人们隆重地将索菲和孩子们安顿在马斯拉诺宫，在一套富丽辉煌的住室里下榻。
室内装饰着红锦缎、花缎。摆设着波希米亚玻璃杯、中国花瓶，悬挂着威尼斯的分枝吊灯。墙上挂着拉斐尔和求里奥·罗马诺的画。在那间壁上张挂着蓝色锦缎的华丽房间，小雨果从床上望见穿着绣金花边长裙的“七痛”圣母像，她胸口插着七把利剑。
马斯拉诺宫有一条肖像画廊。人们发现小雨果独自一人坐在一个角落，默不作声地注视着那些神态做作的贵族老爷，隐隐感到了家庭和国家的骄傲。作为征服者的儿子，他跑遍了宫中所有的房间，但他却是以外国人、以侵入者的眼光，看着那闪闪发亮、古色古香的祭堂，和套着浆洗过的细布硬项圈的人物。
一开始他们过着野鸟般的生活，他们在西班牙贵族森严的大厅里捉迷藏，门帘、石像、巨大的中国瓷瓶都是他们藏身的好地方，大厅里陈列着不少贵族遗像，玩累了，雨果常常独自坐在角落里，默默地观看这些人物，幻想着他们当年的一举一动，已往的世纪仿佛在他们身上复活了。
他们那高傲的姿态，金碧辉煌的镜框，显赫的家世和耳闻目睹的西班牙民族的傲气，这一切激动着小雨果，日后在浪漫剧《欧那尼》里，他再现了当年在西班牙的印象和幻想。
对于皇帝，他本人就有两种不同的看法。他敬慕这个英雄，但他又和母亲、拉奥里一样，仇视这个暴君。对于自己的父亲，他也持这种双重态度。作为三省总督、伯爵、将军的儿子，并且靠他的名字住进如此豪华的宫殿，他感到自豪。
但是，对于使母亲蒙受了如此大的不幸的父亲，他的厌恶感与日俱增。他想到先前法军在意大利的所作所为，父亲在西班牙大肆剿捕他称之为土匪的爱国者，这使他隐隐感到难堪。当他置身在先哲肖像画廊里，给自己编造一些故事时，他总是心甘情愿地把自己当做流放异乡，尔后又凯旋而归的角色。
快乐的日子终于结束了。雨果的父亲很怕荒废了孩子们的学业，于是便将雨果和欧仁送进了西班牙的贵族学校，大哥阿贝尔则进宫做了当时的西班牙国王、拿破仑的哥哥的侍童。
贵族学校深藏在高墙之中，各个房间都显得阴森可怖，即使在夏天，也只有极少的角落见得到阳光。
学校是由教士们主持的。那个接待他们的教士身穿黑色长袍，脖子上挂着白色翻领，一对眼睛陷在肉里，使得那个鹰钩鼻子显得分外突出，整个脸看上去很凶。使雨果很吃惊的是，他的脸异常消瘦、苍白，肌肉像是没有弹性、已经硬化了似的。后来雨果才知道他叫唐巴杰尔。
唐巴杰尔有一个下属叫唐马虞尔，他跟唐巴杰尔完全不同。他那胖胖的脸上总是堆满了笑容，显得非常和蔼可亲，说话活泼有趣。他站在冰冷铁板似的唐巴杰尔旁边，就好像是一个中产阶级市民伴随着一具幽灵。
学校的饮食原本量就很少，再加上那年又逢灾害，学生的食物越来越少，学生们肚子里饥肠辘辘，有几个大胆的便吵闹起来，唐马虞尔便教学生在肚子上画十字，说这样肚子就不饿了。
唐马虞尔虽然跟孩子一起吃饭，并不比他们多吃，可是却并不见瘦，反而更胖了。同学们都怀疑他躲在房子里偷吃了东西。不多久，雨果兄弟对他的和善也有了进一步的了解。他当面奉承学生，可背后却常常向唐巴杰尔打小报告。学生受了罚，他还要做出一副很难过、很同情学生的样子。相比之下，雨果兄弟觉得还是唐巴杰尔好，他虽严厉，但表里如一，并不虚伪。
当时，学生们必须轮流去做弥撒。但索菲是不信宗教的，她告诉唐巴杰尔，说孩子是新教徒。尽管如此，他们仍然受到尊重，一方面是因为他们的父亲让人敬畏，另一方面则因为他们表现出掌握了惊人的拉丁文知识，这点令教士们意想不到。
唐巴杰尔拿出当时西班牙拉丁文的初级读本《诗简》和《历史》，他俩根本不用字典，随口就译了出来。
为此，安排8岁的雨果和10岁的欧仁他们的学习，曾使唐巴杰尔非常为难。
因为年龄的缘故，唐巴杰尔先把他们放在小学部。可是别人的作业还没开始，他们已经完成了，剩下的时间就一直闲坐着。
唐巴杰尔只得让他们升了一级，然而情形还是一样，于是又升一级，还是不行，最后，他只得下决心把这两个孩子放到了大学生部，与十五六岁的少年一起学习，就这样，在一星期中他们一下子升到最高的班。
大学生们一开始很看不起这两个稚气未脱的小孩，后来看到自己翻着字典还苦思不得其解的课文，雨果兄弟却能随口讲解时，才自愧不如，对他们平等相待了。
小小的年纪，离开了温柔可亲的母亲，来到这四壁森严的大厦里，雨果心里非常悲伤，特别是晚上，宽大的宿舍里点着几盏昏黄的油灯，到处是黑黢黢的，那情景真是又凄凉又可怕。
可是一到早晨，当曙光透过窗户照在床头那具耶稣像上时，那情形便有点变了。造成这种变化的是学校中的一个仆人。他是一个驼子，生着绯红的脸，头发编得像一条条绳子。
他是个身穿红羊毛上装、蓝短裤、黄袜子的驼背，地地道道的宫廷小丑，照看有150张床的宿舍。西班牙孩子都管他叫“柯柯维塔”。
这个长相奇特衣着鲜艳的矮人是学校里的活闹钟，每天早晨5时，他总是在床头的木架上“啪啪啪”地发出3声响声，把孩子们从睡梦中唤醒。睁眼见到他那古怪的身形，孩子们便嘻嘻哈哈地笑了起来，雨果心中的忧伤顿时便消失得无影无踪。
孩子们喜欢跟这个小矮人开玩笑。他们不满意他的时候就叫他“骆驼”，对他表示好感的时候就叫他“小骆驼”。而他则不管孩子们怎么对待他，总是笑嘻嘻的。
后来，雨果常常回忆起当年的情景，为自己戏弄过这残疾的人而万分内疚，于是他将这可怜的人变成了他的著名小说《巴黎圣母院》中的卡西莫多，变成了《笑面人》中那个被人贩子破了相的侏儒冠普伦，在他们那丑陋的身体中都跳动着一颗极善良的心。
