在雨果上学的期间，索菲跟莱奥波德之间的关系越来越糟。约瑟夫国王从巴黎回到马德里后，发现了索菲写的难以数计的状纸，便把她召来，垂听她的投诉，之后，又立即将莱奥波德将军召到了马德里。
莱奥波德将军急速赶来，在国王的最后裁决之前，不得不在所有方面作出妥协。他同意在马德里任职，同意住进马斯拉诺宫，同意将儿子们接出贵族中学，同意立即付给妻子3000法郎，这样，她就不会再身无分文了。
莱奥波德还写信给索菲，他在信中说：“今晚，在陛下这儿用过晚餐后，我会来看你。我给你送一箱蜡烛来。再见，朋友，相信我对你的爱情吧！”
争斗的结果充分体现了女士优先的原则。在国王的直接干预下，13岁的阿贝尔直接留在侍卫团。而索菲则获准带着年幼的欧仁和雨果重返巴黎。国王同时还决定，莱奥波德将12000法郎的宫廷大臣薪金必须预先寄给伯爵夫人，从此不再谈及分居，这便是她获得的胜利。
雨果兄弟俩欢天喜地地离开了那个阴森的寄宿学校，踏上了归途。归途是艰难危险的，西班牙人对悍然入侵的法国人非常憎恨，因此虽有卫队护送，仍然无法使雨果母亲安心。
由车队护送的归途漫长而难受。年幼无知的雨果虽不像母亲那样担心，可是也亲眼目睹了战争的酷烈。
在布尔戈斯的一个广场上，雨果见到了一个三脚木架，架上插着一根木杆，他不明白这木杆是用来做什么的。旁人告诉他这是绞架，马上要绞死一个人。
这是雨果第一次见到绞人架，其印象之深，使雨果终生难忘，雨果后来毕生为废除死刑而战，他为此曾写了小说《死回末日》。
然而，雨果脑中留下的西班牙别的情景，在他看来，却显得高尚美好。这里的人民为什么要把法国侵略者赶出去，他对此隐约有所理解。
这个时候，雨果不由想起来拉奥里曾经说过的话：“孩子，自由高于一切。”
西班牙总是吸引着法国人，因为它保存着原始状态的情感。
年轻的雨果从这次旅行开始，脑海中就经常浮现一些无名的幻影，它们后来变成了欧那尼、吕意·高密、德·西尔瓦、唐·萨路斯特、吕意·布拉斯等。他的脑际浮现着血淋淋的情景和明媚亮丽的美景，以及一位长着两只大眼睛，一头浓发，皮肤白中带金黄，朱唇，粉颊的西班牙小姑娘，这个14岁的安达卢西亚少女名叫贝巴。
自从和西班牙的短暂然而亲切的接触后，雨果一生的思想完全被最初所获得的印象左右了。
雨果和他的母亲终于回到了巴黎。见到了那幢鲜花与绿草环抱的房子，雨果高兴极了。
由于忠心耿耿的拉里维埃尔夫人的收拾，花园打扫得干干净净，烤钎上插着烤肉，床上铺着罩单。很快，拉里维埃尔夫人又开始教授他们拉丁文了。
雨果母亲是主张放任教育的，雨果和欧仁不再去学校。拿破仑公学的校长想收他们入学，却受到雨果夫人冷漠的接待。她也分担了孩子们对于寄宿的恐惧。所以，雨果在学习之余便在花园里尽兴玩耍，他们从大自然这本书里学到了许多东西。
索菲还在一个图书馆注了册，以后便经常打发孩子们去为她挑选书。这两个孩子一个8岁，一个10岁，在一个穿着路易十六时代的裤子和花色条纹袜的古怪的老好人做主的图书馆里随心所欲地乱翻。
雨果母亲读书非常勤，这就使得两个孩子三天两头地要往图书馆跑，渐渐的，他们也爱上了书，竟把图书馆底层的藏书都读完了。
图书馆的楼上有一个亭子间，里面放着一些思想倾向相当激进的书。图书馆老板卢阿约尔不让两个孩子进去。雨果的母亲知道了，对老板说：“书籍从来不会产生什么恶影响。”
于是，雨果兄弟俩便有了随意进出亭子间的自由。这里是一个小小的书的世界，书架上堆满了书，地上也铺满了书。
雨果兄弟俩在这书的海洋中遨游，常常一看就是几小时。散文、诗词、随笔、游记、科学，各个门类的书他们都读。
欧仁和雨果经常趴在地上读书，他们发现了卢梭、伏尔泰、狄德罗、雷斯蒂福、德·拉·布列塔尼等人的著作以及《弗勃拉》和《科克船长旅行记》，那些惊险的情节，曲折动人的故事使雨果爱不释手。日后当雨果开始写戏剧和小说时，他给读者讲的也是这类引人入胜的故事。
阿贝尔、欧仁和雨果都在写诗。雨果写满了好些本子，他的思想倾向于古典的节律。不用说，这些诗句既未押韵，又不合辙，算不上诗。雨果虽然无师指导，又不懂诗律，但还是大声地念他所写的东西，发现不行，又推倒重来，寻找合适的字眼，直到听起来不觉刺耳才住手。他慢慢摸索，掌握了有关节拍、顿挫、韵辙和阴阳韵交错的知识。
索菲要求两个孩子顺从，有礼貌，她是严厉的，但又保留着温情，有正常的、严格的纪律，既不让孩子们放任自流，也不使孩子们事事不知。经常进行一些富有教育意义的严肃的谈话，这便是那种如此深沉、专注、细心的母爱的主要特征。
索菲虽然是又重新回到了巴黎，与丈夫莱奥波德分居两处，但是经过了约瑟夫国王的调停，有国王的钦断应该是一个不小的胜利了。
1813年，继约瑟夫·波拿巴失败之后，莱奥波德将军被迫回到法国。9月，他带着阿贝尔一同移住波城。
1813年9月24日，索菲给儿子阿贝尔写了一封信，信中写道：
我并未想到你父亲会禁止你给我写信，但假若情况果真如此，那么从许多方面来说，这种行为都该受到谴责。你的任务就是拒绝服从。如果我忽视了人们天生的神圣权利，禁止你的弟弟给他们的父亲写信，那么，他们也不应该服从。
倘若他已下禁令，你就背着他给我写，以避免偏见在你们中间造成一些烦恼和争吵。这种偏见已经使你父亲丧失了理智。我看得出来，我可怜的孩子，和这个人生活在一起，你得受很多苦。
我经常为你的命运，甚至为你父亲的命运落泪。他使我们受了许多苦，但他也给自己带来许多痛苦，并且这种痛苦有增无减，我的阿贝尔，希望你能过上好日子。尤其是你得把我们共同的不幸引以为训。并且看荒谬的爱情和缺德的行为要发展到何种地步。
尽管在西班牙莱奥波德官居将军，但在法国他却只是一营之长。答应给妻子的生活费没有兑现，怎样生活，成为索菲必须面对的问题了。斐扬底纳的花园已被巴黎市政当局征用，以延长于勒姆大街。索菲便搬到老杜伊勒利大街2号，与富歇家比邻而居，为的是利用他们公馆的花园。
雨果在斐扬底纳再次见到阿黛尔·富歇，他们一同散步交谈，一边缓缓而行，一边轻声说话，手互相触碰一下，便会发抖。这个时候，小女孩已经变成少女了。
1814年1月，反法联军已经向法国本土挺进。此时正是用人之际。于是莱奥波德的要求得到批准，被任命为第昂维尔一个马上就要被反法联军合围的城市的要塞司令。
这个期间，索菲的大儿子阿贝尔也回到了母亲的身边。尽管手头并不宽裕，但是索菲还是为儿子做了一件新衣服。
莱奥波德少校又成了将军。在反法联军围攻第昂维尔的5个月中，他不避矢石，身先士卒，使三色旗始终骄傲地飘扬在要塞的碉堡上。直至拿破仑宣布退位，他才率领士卒光荣地退出。
这一年莱奥波德将军42岁。从这以后他就再也没有被起用。对于一个健壮得满身的精力要往外迸射的军人来说，在这样的年龄归隐田林，实在是一件残酷的事。
而且波旁复辟王朝根本不买共和国的账，退休后的雨果将军只能享受2/3的退休金。对于既死要面子又要负担一大家子人生活的雨果将军，这个双重打击的剧烈程度，实在是可想而知的了。
然而，波旁王朝复辟后，雨果夫人大喜过望。她的保王主义思想曾经冷却。只要她的丈夫需要依靠波拿巴家族，她便克制住自己，不让拥护国王的感情有所流露。自从拉奥里惨遭杀戮，她对篡位者的仇恨变得更强烈。
拿破仑帝国崇尚绿色。所以每逢波旁王朝的群众性节日，她都要穿上白色的上衣、绿色的皮鞋。这样做的目的，按她的说法就是：“每走一步都把拿破仑帝国践踏一下！”
为了争得每一个法郎，索菲都要和丈夫大费口舌。战争的阴云一刻也不曾离开过这个可悲的家庭。在雨果将军和雨果夫人残留的来往书信中，我们可以经常看到夫妻俩为了几十个法郎而争得面红耳赤的记录。
莱奥波德将军在第昂维尔要塞一直待到1814年5月。他曾写信给国王，保证忠于他。他想，不论政府如何，一个军人应该忠于自己的祖国。这种思想高尚，却不严肃。
在这期间，他的妻子索菲由阿贝尔陪同来到第昂维尔索讨生活费。在母亲外出期间，欧仁和雨果在富歇家度过他们的空闲时间。
为此，雨果在1814年5月23日给母亲的信中写道：
亲爱的妈妈，自你走后，大家在这里都觉得无聊。我们经常去富歇先生家，就像你叮嘱我们的那样。他提议让我们去旁听人家给他儿子上的课。我们谢绝了他的好意。
每天上午，我们学习拉丁语和数学。富歇先生带我们上博物馆参观了一次。快点回来，你不在，我们不知该说什么话，该做什么事。我们坐立不安。我们不断地想念你，妈妈！妈妈！
莱奥波德早想把儿子们从这个“可恨的”妻子手里夺过来，已经让他妹妹把他们从富歇家领走了。他1814年9月到巴黎时，根据父亲的权力，把他们送到哥尔第埃寄宿学校就读。
