1803年，当营队移驻厄尔巴岛后，索菲·特雷布歇终于回来了。雨果夫人这次回来并不准备与丈夫重归于好，而是想把三个年幼的孩子带回巴黎，拉奥里上校还在那里等她。
仅仅过了四个月，雨果夫人便带着三个孩子离开厄尔巴岛，踏上了返回巴黎的旅程。
当车子经过长途跋涉终于回到巴黎后，拉奥里却没来接索菲和孩子们，雨果夫人猜测到一定发生了什么事情。
她来到拉奥里的府上，见门口贴着逮捕拉奥里的告示，已然明白发生的一切。拉奥里反对第一执政的事情，雨果夫人比谁都清楚，她心慌意乱，但是并不感到诧异。
过了几天，雨果夫人找到了一处宅院，这处院落坐落在克里希大街24号，条件还算舒适。这一方小天地就成了维克多和哥哥们的游乐场，他们在这里追逐打闹，常常忘记吃饭的时间。小雨果此时已经有了记忆，多年后，他仍然能够描述出当时的景象。
就在小雨果平静地过着幼年的时候，他的爸爸莱奥波德上校这个时候已经受到了约瑟夫·波拿巴的重用。莱奥波德上校随着这位显赫的上司开赴意大利，开始了时来运转的军旅生涯。
在征服那不勒斯的一次战役里，这个英勇善战的少校先生有了崭露头角的机会。那是在卡里那布亚，一群当地的绿林武装与法国军队展开了一场残酷的拼杀。这些人中有的是土匪，有的是爱国者。
莱奥波德上校就在这次浴血战斗中，俘获了当地最突出的一个首领名叫米歇尔·贝札的抗战者。
这件事带来的巨大荣誉，使上校迅速晋升成为了阿维利诺省的总督。当消息传到巴黎的时候，雨果夫人还是感到很高兴，因为此时尽管她不够爱自己的丈夫，但是生活的开销已经是个负担了，她认识到，丈夫晋升意味着孩子们又有好日子过了。
为此，索菲不得不考虑投奔丈夫，与他言归和好。虽然莱奥波德上校不想妻子和孩子此时来军营里，但是索菲对丈夫的不满毫不理睬，也不通知他，便于1807年10月擅自出发向意大利来了。
小雨果当时只有5岁，但非常敏感、专心。他终生不忘坐着驿车穿过整个法国的这次旅行：射尼斯山峰，在雪橇下嘎嘎作响的冰块；一只被打下的山鹰，后来在山上被大家煮着吃了。尤其是吊在树枝上的一些血淋淋的尸体给他留下了深刻的印象，他和哥哥们一同透过车窗玻璃看着这些尸体。
在玻璃上，他们为了解闷，贴了一些草杆做的小十字架。对死刑的恐惧，对酷刑和绞刑的厌恶，绞架与十字架在他心中形成的对比一直在他的脑际索绕，足可以在他童年的鲜明印象中找到根源。
比起南方色彩强烈的景色，雨果夫人更爱布列塔尼的花园。因此，她只把注意力放在家务事上。而那不勒斯，这个“穿着坠蓝缨的白袍，在阳光下灿烂辉煌”的那不勒斯使孩子们心醉神迷。而且，在旅途的终点，孩子们看到爸爸穿着笔挺的军装前来迎接他们，感到非常自豪。作为一省总督的儿子，属于征服者这个阵营，的确是令人庆幸又骄傲的。
在意大利，这三兄弟住在一座大理石墙面已经开裂的宫殿里，不远处有一道深沟，两旁种着茂密的核桃树。不用上学，无拘无束，这种度假的滋味，雨果终身都回味无穷。
他们有一个权势显赫的父亲，平时很难看见，有时回来一会，便跨着马刀，装出骑马的姿式，逗引孩子们。总有几个戴着亮闪闪的头盔的骑兵在院里恭敬地等候。
这位父亲深受那不勒斯国王的垂爱，而这位国王是皇上的兄弟。他早已在科西嘉王家军团的花名册上，写上了小维克多·雨果的名字，从此，小雨果就自认为是该军团的一名战士。
莱奥波德也在信中满怀喜悦地说写道：
维克多，那最年幼的孩子，显出学力很大。他和他大哥一样稳重，又很谨慎。他话不多，从不乱说。他的思考能力好几次令我拍案称奇。他的相貌甚是可爱。这三个孩子都好。他们互敬互爱。两个哥哥非常喜爱他们的小弟弟。他们若离开我，我会感到忧伤。然而此处无法让他们上学，必须送他们去巴黎才行。
其实，这也并不是莱奥波德要将小雨果送回到巴黎的原因。
他和妻子之间，并没有出现任何形式的和解，孩子们觉察出这些秘密的斗争，但他们并不十分清楚内幕。他们既为父亲自豪，同时又知道他常常触犯他们敬爱的母亲。他们带着愁怅的心情离开了富丽的大理石宫殿。
他们在意大利遇见了富歇的两个孩子，其中维克多·富歇当时五岁，阿黛尔四岁。阿黛尔是一个心不在焉，想入非非的小女孩。雨果家的三个男孩把她认作朋友，他们玩滚球的游戏。
富歇一家与雨果夫人及儿子几乎同时离开意大利。
