1823年2月，约翰接到调令，让他去萨默特大楼任职。这个被酒精烧得神经已经有些麻木的人只长长地出了一口气：“啊！这一下可把债主甩掉了。”
因为约翰是一个极愿盛情款待朋友的人，但由于他热衷于维持绅士的体面，妻子又不善理家，终于陷入了债务的泥潭。他每年二三百磅的薪水常常在领到之前，就已签字偿还给别人了。
由于生活拮据，一家人被迫迁居伦敦。查尔斯在年初的时候仍然留在了查塔姆，因为他这一个学期还没有结束，但到学期一结束他也不得不到伦敦去了。
这次他们住进了卡姆登镇赫姆街16号。
安置好之后，查尔斯百无聊赖地走上卡姆登镇的街头，漫无目的地边走边看：破旧简陋的房屋，街上稀稀落落的人群，穿着破旧的衣服低着头匆匆而过，他们都在因贫穷而奔忙。
当然，大街的尽头有“红帽子妈妈茶园”，附近不远还有乡间小道及乔克农场的几个茶园，他只要走出家门就能看到绿树成荫的汉普斯特德山。但更多的是与这乡间美景格格不入的情景。
查尔斯忧郁的心情更增添了伤感：“这里与查塔姆是多么的不同啊，简直就像是生活在两个世界。”
查塔姆，他那神圣的故土，那里到处都能看到海军军官，随时都能感觉到庄严的氛围。而到了这里，是社会地位一落千丈的象征。
环境的变化，并不是让查尔斯感到心寒的唯一原因。
家里现在唯一的仆人，是从查塔姆济贫院雇的一个无父无母的小姑娘，当时他们家也只能雇得起这样的人。
而一时无学可上的查尔斯，就责无旁贷地担起了家里的大部分体力重活。
虽然查尔斯当时只有11岁，但他不得不放弃交朋友的机会，放弃读书的机会，把时间都用在照看弟弟妹妹、做家务和跑腿上，甚至还要替全家人擦皮鞋。
他整天低着头忙，根本无人理睬他，他感到极端孤独。他找不到年龄相仿的能说得上话的朋友，他不再有当初在学校学习时领受到的获得进步和知识时的喜悦心情。
这天，一直死气沉沉的家里泛起了一阵快乐的波澜。原来，查尔斯的姐姐范妮考上了皇家音乐学院。
一家人为范妮举行送行晚宴，大家七嘴八舌地对范妮表示祝贺：
“范妮，你考上皇家音乐学院，为咱们全家都争了光，祝贺你！”
“范妮，千万不能骄傲，要在学院取得更好成绩才行啊！”
“范妮，别光顾学习，一人在外要照顾好自己。”
“范妮，这个机会来之不易，你要好好珍惜啊！”
“加油范妮！好样的！”
查尔斯没有加入这场“念喜歌大赛”，他站在场外，心情落寞地看着即将离家远行求学的姐姐。想到自己无人关心的处境，看着她在一家人的祝愿声中就要离去，心像被狠狠地捅了一下。
范妮从面露喜色的家人的肩膀缝隙里，感觉到了弟弟投射过来的孤独伤感的目光。
她走到弟弟跟前，语重心长地叮嘱他：“查尔斯，现在你的肩上扛着我们家的重担，千万要保重自己呀，我走了你就是大哥哥，一定要帮妈妈照顾好弟弟妹妹们！”
查尔斯的双手与姐姐紧紧地握在一起，他不敢与姐姐对视，因为随着家境越来越贫困，他挑着这副重担也感觉越来越吃力，尤其是不能像姐姐一样去更高级的学府求学，他的心里如同刀绞一般难受。
在约翰肆意的挥霍下，原来捉襟见肘的家几乎已经一贫如洗了。伦敦对这个家庭并未有所偏爱，旧债未偿清，新债又与日俱增，以致他们连食品都买不起，孩子们常常饿得哭叫不停。
芭罗面对着这绝望的困境，她思虑再三，向丈夫提出了一个可行的办法：“亲爱的，我发现这里的人们普遍缺少文化，如果我们来办一所女子学校，也许会对家庭经济上有所帮助的。”
约翰现在一点辙也没有，妻子这么一说，他马上就表示同意了。
查尔斯为了改善家庭现状，积极地支持母亲：“妈妈，我来负责广告宣传，我可以散发传单。”
于是，他们在高尔街租了一所小房子，并制作了一块铜牌挂在门前，铜牌上刻着：狄更斯太太·淑女学校。
查尔斯写了厚厚的一沓传单，他不辞辛苦地挨家挨户去散发。发完后，就与母亲一起耐心地等待着人们来报名。
但他们的心血白费了，虽然他们对一切都做好了准备，但好多天过去了，始终没有一个人来学校报名，甚至那些下层人都顾不上来学校打听一下。
芭罗绝望了，她流着泪对约翰说：“今天，肉店和面包店都不肯再赊给我们东西了。”
约翰一筹莫展地叹息说：“上帝啊，难道我们真的已经到了山穷水尽的地步了！”
1824年初，约翰由于他无法偿还欠下的巨额债务，最终被送入了马西夏负债者监狱。
查尔斯眼睁睁地看着口里吐着污言秽语的债主们，一件件地把家里的东西全都搬光了。转过头看着即将被带走的父亲，心在不停地往下沉，沉入深不见底的黑洞里。
他希望父亲临别时能向他这个大儿子交代些什么，因为当年父亲对他是寄予了如此的厚望。
而约翰却只仰头向天，绝望地说了句：“我这辈子算完了！”这句话使得查尔斯感到心都碎了。
虽然父亲断送了一家人原本的幸福生活，虽然他不务正业，但想起早年父亲对自己的喜爱和鼓励，查尔斯还是决定去监狱看看他：他毕竟是自己的父亲！
约翰见到儿子，悔恨与思念一起涌上他的心头，他愧疚地抱住儿子：“查尔斯，爸爸对不起你，我的儿子，让你受苦了。”
父子俩欷歔过一阵后，约翰对查尔斯说：“孩子，记住爸爸一句话，如果一个人一年挣20英镑，而只花掉19英镑，那他的生活还会是幸福的。但是如果花掉超过20英镑，那他肯定会落入悲惨的境地。”
查尔斯来回奔走于父亲和心烦意乱的家人之间，眼泪簌簌地流个不停，却又要强制着自己不哭出声来。
他常常光顾卡姆镇的当铺，头一批卖掉的是他那些宝贝书籍，接着把火炉、瓷器、椅子等都送了进去。
一家人不得不睡在两间没有地毯的房间里。
芭罗在高尔街“女子学校”坚持了一个半月，一天比一天更绝望。回来与查尔斯商量之后，决定全家都搬进马西夏监狱。
这是马西夏负债者监狱不同于别的监狱的地方，这里的犯人可以为家人租房居住。
生活暂时又稳定了一段。债主们不再纠缠他们一家了，而且约翰还可以继续从海军军需处每周领到6英镑多的薪水。
但是，查尔斯与母亲仍然整天愁眉不展。因为他们看不到希望，约翰作为一家的顶梁柱已经断折了，而一家人要到什么时候才能搬离监狱呢？
