父亲去世后，母亲过了两年更为艰难的日子，便不得不改嫁了。
安徒生的继父尼尔斯·冈徒生也是一个鞋匠，他对待安徒生还不错，不反对他按自己的愿望行事。母亲改嫁后，跟继父搬到了另一处地方，离原来那条磨坊街很远。
继父家的园子比他家原来的所谓园子更大，更美丽，不仅醋栗树比原来园子里的多，而且还有荼蔗子和其他的树。新的家也在一条小河附近。他母亲常站在河里的一块石头上漂洗麻布衣服。这儿的邻居很好，喜欢讲故事，安徒生很喜欢听他们讲故事，他听他们讲了好多有趣的故事。
有一次，一个洗衣服的老大娘说，假如在这条河上挖土，挖呀挖呀，最终能挖出一条通道，一直通到中国。这样，就可以从通道里走到中国去。那是个很大的帝国，那儿的皇帝很威风。小安徒生很希望到中国去看看，假如黄皮肤的中国王子能到丹麦来该多好。他用魔术般的方法指引自己到中国去，如果那儿欢迎自己，自己就会有很大的名气。
安徒生坐在河岸上，唱起他会唱的最美好的歌来。说不定中国王子会忽然听到，叫他去中国玩呢！那时他说不定会得到一个水晶城堡呢！
离安徒生的家不远，住着一位牧师的遗孀班克福德夫人，她与姑姑一起生活。她们挺喜欢安徒生，欢迎他随时去玩。在班克福德夫人家里，安徒生第一次听到了“诗人”这个词。而且，她们每每提到诗人，就充满了一种崇敬感，好像很神圣的样子。此时，安徒生认识到，能成为诗人是那么令人荣耀和幸福的事。也是在这里，安徒生第一次阅读了莎士比亚的戏剧。
父亲的死使安徒生家欠下了一大笔的债务。为了还债，也为了生活，母亲没日没夜地拼命干活。一天到晚，她都弓着身子，趴在小河边一块平坦的大石头上洗衣服。
在寒冷的冬天里，河水的温度无法想象，她只好喝几口酒来驱寒。这在体面人看来是多么粗鄙的行为！于是，刻薄的流言不胫而走，城里的人们都在窃窃私语：“鞋匠的老婆玛利亚是个嗜酒如命的女人！”
圣诞节是西方最隆重的节日。可是，安徒生家的圣诞节，没有圣诞树，没有烤苹果，没有甜饭，更别提烤鹅了。圣诞之夜，小小的安徒生穿着一双用木头做的鞋，踩在结了冰的石头路上，发出“扑哧、扑哧”的声音。
安徒生后来写道：“走在街上，我的手简直就要冻僵了，我一边搓着手哈着暖气，一边透过有钱人家的窗户，羡慕地向里面探头张望。我看见屋子里明亮的烛光快乐地跳跃着，漂漂亮亮的圣诞树被装点得五光十色，闪闪发亮，周围是一群孩子们兴奋地跑跳狂欢，桌上还摆满了各种各样好吃的东西。我幻想着那只静静地趴在餐盘里的烤鹅突然站了起来，一蹦一跳地从桌子上跳下来，又大摇大摆地走出去，径直来到街上，来到我的面前。但一切都是美妙的幻想而已。”
玛利亚本想拼死独立支撑这个家，可镇里的长舌妇们嘲笑安徒生游手好闲，母亲只好忍痛把瘦小羞怯的儿子送到了工厂里做童工。
母亲决定让儿子去布厂上班。她说：“这可不是为了钱，我总得知道我的儿子在哪儿吧！”
安徒生的老祖母带他去那家布厂。祖母感到很苦恼，因为她从没有想到有这么一天，自己的孙子会和那些讨人嫌的男孩子混在一起。
工厂是一个环境肮脏的地方，机器轰鸣，人声嘈杂，窗户都用破布或纸片堵得严严实实，叫人透不过气来。
那些衣衫褴褛的青少年，都来自欧登塞最底层的穷苦人家。
他们粗俗豪放，脏话不断，安徒生却出淤泥而不染。他说：“那些脏话在我耳边一掠而过，占据不了我的心。”
有一天工间休息时，安徒生情不自禁地唱起了一支歌，没想到一下子引起了轰动。工人们似乎听见了百灵鸟在欢叫，看见了奔腾的河流，他们狂叫起来。
于是就不让安徒生干活了，只让他接二连三地唱歌。安徒生愿意施展自己的才华，在大庭广众面前纵情歌唱，声情并茂地朗诵诗歌。
每当唱完歌，安徒生就告诉他们自己还会演戏。霍尔堡和莎士比亚许多整幕的戏，安徒生都烂熟于胸，倒背如流。工厂里不论男女，都友善地对安徒生点头、微笑、鼓掌。
就这样，安徒生在布厂度过了最初一段愉快的时光。但是时间不长，安徒生又离开了工厂。
可是，安徒生就是不想当裁缝。但从妈妈描述成为裁缝的前景中，安徒生获得的唯一安慰，那就是当裁缝就能为他的剧院弄到更多各式各样的布片。
安徒生常站在妈妈洗衣时当搓板使的一块大石头上，大着嗓门唱他会唱的所有歌，有的根本就是边走边瞎编乱唱出来的，连曲调都没有，更谈不上有什么意义了。
安徒生天生酷爱读书，他能把整幕整幕的戏倒背如流。他天生就有一副金嗓子。这一切，终于引起欧登塞几家名门望族的注意。他们邀请安徒生去家里做客，所有他身上表现出的奇特的品质和性格特征，引起了他们的兴趣。
在安徒生造访的这些人中，霍格·古德伯格上校及其家人对他表现出了很大的同情。霍格·古德伯格上校甚至跟克里斯蒂安王子，也就是后来的克里斯蒂安国王八世提到了安徒生。
在古德伯格上校的引荐下，安徒生甚至和当时这位克里斯蒂安王子见了一面。
那天，妈妈精心把安徒生打扮了一番，在古德伯格上校的陪同下，登上了宫廷宽敞的石阶。
王子亲切地接待了他们。让安徒生奇怪的是，这位王子不仅没有穿黄袍、戴首饰，而且他的打扮和普通人没有两样。
安徒生兴致勃勃地为亲王唱歌，并朗诵了自己熟悉的莎士比亚和荷尔堡的歌剧。
亲王爱抚地拍拍安徒生的肩膀说：“背得不错，好小子。”然后，亲王问：“你以后想做什么呢？”
安徒生向亲王弯腰致敬，然后鼓起勇气，说：“尊敬的殿下，我想进教会学校去学习。”说完，他又小声地补充了一句：“不过，我最想做的是去皇家剧院当一名演员，但我不知道怎么做才行。”
亲王微笑着说：“当然，孩子，你的想法是好的，但我觉得，念书既花时间又花钱，而且会令你的生活过得更苦。至于演戏……嗯，你觉得你能做个好演员吗？你看，你是一个手艺人的儿子，干吗不继续做一个手艺人，安守自己的本分呢？”
“可是，殿下，这孩子真的很有演戏的才华呢！也许，他真的可以是一个好演员呢？”古德伯格上校在一旁提出异议。
亲王微微皱一下眉头，转头问他的秘书：“你觉得呢？荷尔倩！”
这个被称作荷尔倩的秘书也同意亲王的决定，他说：“是的，殿下，我完全赞同您的意见，这个孩子的举动、风度，都具有鞋匠的气质，他一定会是个出色的手艺人。至于才华，在我们国家，会唱歌、会朗诵的人大有人在，难道每一个人都能做一个好演员吗？”
亲王点点头，说：“有道理，如果他真的有才华，真的是个天才，那么他会自己发展成熟，自然显露锋芒，用不着别人的帮助。”他盯着安徒生看了一会儿说：“这样吧！孩子，如果你愿意去学一门手艺的话，我是非常愿意帮助你的。如果你一定要想当演员，那我就帮不上忙了。”
听完亲王的话，安徒生很伤心，但他并不气馁，他在心里默默地说：“殿下先生，总有一天，你一定会看到我的光芒！”
安徒生怀着失望的心情离开了城堡。
