小拜伦有只脚是跛的，这一缺陷给他后来的生活带来了不少痛苦。
有一次他在街上散步时，一个妇人经过他身旁，看着拜伦说：“呀！多么漂亮的孩子！可惜是个瘸子！”这句话深深刺痛了拜伦的心，虽然他很年幼，但他很懂世故的偏颇和对残疾者的歧视，每当让别人看到自己的残疾，他的心就会像受刀割一样的痛苦。
更不幸的是，他父母的关系很糟，彼此都对婚姻感到失望，拜伦就是在这种失望的深渊里出生的。拜伦两岁时，父母开始分居，拜伦由母亲抚养，他父亲为了躲债逃到法国，第二年便在贫困交加中死去。
家庭的不幸，使得拜伦母亲的性情变得非常暴躁，常无缘无故地大发脾气，而拜伦便成了母亲发泄愤怒和不满的对象。母亲有时候把他当作掌上明珠一样地爱抚；有时候发起神经来，便顺手拿起盘子等向拜伦投去。
破。在抱怨自己的残疾以外，还要忍受母亲的脾气，对于这个生来就比别人更加敏感的孩子来说，这样的负担是过于沉重了，他的性格逐渐地变得忧郁起来。
尽管拜伦在默默地忍耐着，但是燃烧的愤怒却沸腾在他的脑海，到后来，默默发怒的习惯已经成为拜伦的脾性。
拜伦在将近5岁时，被母亲送进学校。他是个记忆力很好的学生，却经常一副忧郁的表情。拜伦以善谈吐和读书多为人所知，因为他从自己的家庭教师那里学了不少历史和拉丁语，自己还常常随手翻读各种书籍。这使拜伦后来成为著名的诗人。
