1809年2月，在巴黎，雨果夫人索菲在斐扬底纳胡同12号租了一套宽敞的住室。这是由奥地利的安娜修建的古老修道院的底层。这时她一年收到3000法郎的生活费，不久，又增至4000法郎。
在这里，客厅几乎够得上贵族的标准，光线明亮，充满鸟语花香，空气流通。透过院墙，可以望见瓦尔·德·格拉斯教堂的壮丽穹顶，花园很大，一个庭院，一片树林，一块平地。一片栗树林中开出一条小径，通向一架秋千。这里可以让孩子们玩打仗的游戏。
雨果兄弟俩很喜欢巴黎，特别喜欢家中那个树木丛生、繁花盛开的花园。他们常常在丛林中玩捉强盗的游戏；欣赏金色的花蕾、雏菊、长春花；观察啮齿动物吞吃小鸟，小鸟啄食昆虫，昆虫间又你撕我咬的情景。
雨果从父亲那里接受了一种狂热的想象力，他把这个既美丽又令人害怕的花园想象成一个神秘恐怖的“原始森林”，每天在花园里寻找着新的东西，进行着新的“探险”。
雨果后来在诗集《光影集》中用诗歌描述了那个令他流连忘返的花园：
在我满头金发的童年，唉！可惜它转瞬即逝！
有三个老师：母亲，老神甫，一个花园。
花园深邃而神秘，又简直大得无边，
围着高墙，挡住了好奇者们的视线。
园中遍地鲜花含笑开放，就像眼睛在张开，
奇蜂异蝶在山石间繁忙。
空中回荡着“嗡嗡”的蜂鸣。
花园深处像树林，中间就像是空地。
神甫他读荷马和塔西陀，博古通今，
老人和蔼可亲，母亲——那就是我母亲！
老教士是指拉里维埃尔，是一位还俗的奥拉托利会成员，与他的女仆结了婚。
他和妻子一起在圣·雅克大街开办了一所学校。当他打算教小雨果念书时，发现雨果自个儿已经学开了。但拉里维埃尔熟读塔西陀和荷马的著作，能够教他拉丁语和希腊语。在他的帮助下，雨果翻译了《诗简》以及《历史》、坎德·居尔斯和维吉尔的作品。
拉丁语紧凑的形式使他产生了兴趣。小雨果喜爱这门结构缜密的语言。
莱奥波德决定放弃和妻子和好的打算，但不准备放弃对自己孩子的保护权，他在信中写道：
你很有良心。我也问心无愧。我们暂且把所有的过失撇在一边，不要追究谁对谁错。让岁月来冲淡这不幸时期的记忆吧！培养你的孩子，叫他们尊敬我们，让他们接受合适的教育，以便有朝一日能做点事情。既然我们感到难以破镜重圆，那么，让我们更爱孩子们吧！
这样，大哥阿贝尔进了中学，而雨果和他的小哥哥则进了一家由一个神甫开的私人学校。
每个星期天，阿贝尔从中学回家，弟弟们便领他在这个天堂玩耍。他几天的不快一扫而光，又变得兴高采烈。
还有两个游戏伙伴来到斐扬底纳，维克多·富歇和阿黛尔·富歇。他们是一起来到巴黎的。
雨果在栗树林中安装了一架秋千，他慷慨地让阿黛尔跟他们一起去荡秋千。这个小姑娘自豪地，然而战战兢兢地坐上秋千，她有些胆小，总是再三嘱咐他别把她送得像上次那么高。
他们有时候会把阿黛尔放进一辆老掉牙的、走起来一拐一拐的破旧的独轮车里，蒙上她的眼睛，推着她在小路上走。然后让她必须说出车子走到了什么地方。要是她偷偷地掀开蒙住眼睛的手帕偷看的话，他们就用力地把手帕扎紧，然后，大声地问：“你来到哪儿了？”这样捉弄阿黛尔的游戏也让他们乐此不疲地玩耍半天。但是他们最喜欢的游戏还是男孩子们爱玩的“打仗”的游戏。
玩“打仗”游戏的时候，他们会去拔些撑树的小支柱做长矛，然后分成不同的阵营展开“战斗”。打仗在小雨果这样的小男孩看来是非常了不起的游戏，似乎只有这样的游戏才能显示出他作为一个“男人”的英雄的一面。小雨果尽管年龄最小，但他的好胜心却强，在打仗的游戏中，一定要做“常胜将军”。如果他不战胜其他孩子的话，他是绝不轻易善罢甘休的。
雨果曾在后来的文章中写道：
我又看到了我小时候，还是一个天真烂漫的学生，和哥哥们在一起，在花园里绿草如茵的小径上奔跑、玩耍、欢笑。在这个瓦尔·德·格拉斯教堂深暗的圆顶俯瞰着的古老修道院的庭院里，度过了我最初的年月。
在斐扬底纳，沿墙种植的树后面，透过生虫子死掉或被挖掉的果树的空缺，可以看到墙上留下的临时的祭坛和圣母像座留下的痕迹，以及残留的十字架。那是一片残败的景象。
当索菲跟雨果兄弟们来到巴黎不久，莱奥波德上校就被约瑟夫·波拿巴召到马德里。此时，后者已是“西班牙国王”。皇帝封为国君，如同别人任命上校一般容易。
最后，在莱奥波德的弟弟的劝说下，索菲不得不决定带领孩子们前往西班牙。
