那人被他吓了一跳，转身怒目而视，厉声斥道：“疯子，简直是疯子，你想媳妇想疯了吧？怎么连公母都分不出来啦？”
许仙被骂得一激灵，定睛一看，哪是什么娘子，分明是一个小伙子。许仙知道自己这是神经错乱了，连忙给那人作揖赔礼说好话儿。那小伙本是许仙家老街坊，也听说了白娘子的事，挺同情许仙的，也就不再追究。反倒好言安慰他道：“许大夫，别太死心眼子了，为了孩子好好活着吧。”然后抻抻衣服，继续赶路。
许仙这个状态，又带着个孩子，渐渐的找他看病的人越来越少，到后来也就没人敢找他看病了。作为一名看病的大夫没了病人，就等于没了饭碗。所以，到最后许仙竟沦落到抱着孩子四处乞讨的境地。
开始一段日子，许多从前的邻居和被他医治好了的病人得知他的情况以后都很同情他，常常把他们父子俩领回家中好菜好饭招待，并好言规劝许仙不要自暴自弃，尽快忘掉那个蛇仙白娘子，娶个普通婆娘好好过日子，也让那可怜的孩子有个娘来疼。可许仙听了总是摇头叹息，甚至不等人家说完话就起身告辞，这样一而再，再而三地不听人劝，渐渐地就没人答理他了。只可怜了那许仕林刚出满月亲娘就没了，父亲又整天若有所思精神恍惚，爷俩饥一顿饱一顿，饿得面黄肌瘦。此时，许家的亲戚看着仕林可怜，就跟许仙商量收养这个孩子，但许仙就是不同意，他说：“我娘子走了，这孩子就是我的命，我就是拉着棍子抱着瓢讨饭也要把他拉扯大。”
亲戚见他如此不可理喻，遂摇摇头走了，从此再不管他。
也许是穷人的孩子早当家吧，那许仕林虽然从小跟着父亲流浪乞讨，天当被地当床艰难度日，但生性聪明乖巧且体贴懂事。那许仙虽然穷困潦倒，顾了今天没明天，但他仍然不忘教孩子读书识字，学习为人处世的礼仪。所以，那许仕林三、四岁时就知道心疼人，讨来吃的总是先让父亲吃。而且，他还会背诵《三字经》、《千字文》和不少唐诗。跟随父亲讨饭时，他经常小嘴梆子似的给人背诵这些古文，引来大人同情，孩子围观，藉此赏他们父子一顿饱饭。
有一次，在乡下的一个小镇乞讨时，许仙被一群地痞流氓打伤了，痛苦地蜷缩在地上呻吟哭泣。小仕林瞪着一双乌黑明亮的大眼睛，一边给父亲擦眼泪一边跪在地上作揖磕头乞求过往行人帮忙。恰巧当地一姓郑的老员外从此路过，见那父子俩实在可怜，就把他们带回家中留宿，并为许仙医治伤病。员外夫人见这爷俩生活窘迫居无定所很是同情，专门腾出一间干净房子让他们父子居住，还找来裁缝量体裁衣为许仕林做了几身新衣裳。仕林本来就长得非常帅气，被员外夫人这么一打扮，越发显得英气袭人，银娃娃一样人见人爱。
