在梵高两岁的时候他的妹妹安娜诞生，从此，文森特便不能独自享受父母的双重喜爱。两岁的孩子瞬间感觉到了一种父母被抢走的危机感，并把这种感情投射在自己的妹妹身上，对她怎么也产生不了亲近的感情。在她号啕大哭的时候，梵高宁愿去地里玩泥巴或者在爸爸书房里翻来翻去，也不愿意到妈妈怀里，亲近一下这个新出生的小妹妹。这也让妈妈对他产生了一点意见。
“梵高，不要再玩了，回来照看你的小妹妹。”
“不，她不是我妹妹，她是个强盗，是个怪物，你要是那么喜欢她，就你们自己去照顾好了。”4岁的梵高已经能够讲话，他现在能够准确无误地表达他妹妹的反感和父母偏心的不满，也让母亲感受到他的任性。这种讨厌一直延续到了梵高成年，长大后的梵高对这位妹妹都十分冷漠，没有什么手足的关爱之情。
在梵高5岁，那年又一名男孩提奥·梵高来到了人世，这也让父母十分地欢喜。然而令父母吃惊的是，对于这个小弟弟，梵高却表达出了异常的喜爱。他常常趁弟弟睡着之时，偷偷地捏着他那粉雕玉砌的小脸蛋，然后心满意足地送上一个吻；他也会在安娜忙得不可开交的时候，自愿承担起哄小弟弟入睡的任务；他甚至会拿着一本书装模作样地念给弟弟听，并坚信弟弟能够听懂自己的心意。梵高对弟弟、妹妹截然不同的态度，让人很是费解。一方面原因可能是5岁的梵高已经懂事，意识到了自己身为兄长的责任；另一方面，他可能对异性怀有一定的恐惧感。
不管怎么样，从提奥出生开始，梵高和他的关系就最为密切，这种亲密一直延续到两人生命尽头。在梵高6岁、9岁、16岁时，他的另外两个妹妹伊丽莎白、威廉明娜和最小的弟弟肯尼斯也来到了这个家庭。但此时的梵高已经把重心转移到自己的学业或者工作，与他们的关系更加疏远。
可能是年龄差距的问题，生性内向的梵高宁愿独处也不愿和自己的妹妹、弟弟们打交道。一旦他们靠近他，他就会皱起眉头，甚至像要发火。弟弟、妹妹们自然也不敢与这个不是整天待在书房就是自己漫步的沉默寡言的哥哥撒娇。“不要去找哥哥，他是个怪人”，这是两个妹妹之间共同的看法。
然而，因为有着共同的兴趣爱好，梵高和那个比他小4岁的提奥走得很近。两个人都喜欢欣赏母亲书架上的画作，也会幼稚地讨论哪幅画画得更好。当梵高在画画时，弟弟就在旁边欣赏，偶尔向哥哥提出意见。饭后，两个人也经常手拉着手，到野外去散步，讨论学校和家庭里发生的趣事。兄弟两人就这样结下了深厚的情谊，而这段情谊也延续了梵高的一生，成为梵高人生中最主要的精神支持。
随着梵高慢慢变懂事，他逐渐意识到自己不是父母最喜欢的那一个。每年到自己过生日的时候，平时吃不到的东西就会被端上桌子，弟弟提奥和妹妹安娜会很热情地和自己坐在一起，七手八脚地拆开小伙伴们亲手做的礼物。但是，父母脸上却从来没有露出过真心的笑容，他们只是在敷衍地完成一个叫“生日庆祝”的任务。
母亲的表现更加明显，每次生日大餐还没有吃完，母亲就表情阴郁地放下碗筷，退回自己的房间。起初，小梵高还以为自己做错了什么事情，他小心翼翼地跑到母亲跟前，问道：“妈妈，是不是我今天又不乖，惹你生气了？”这时候母亲总是意味深长地看他一眼，说：“你没有做错什么事，是上天错了。”然后轻轻地把梵高推出房门，自己待在房间里，门外的梵高能听见从里面隐约传来的哭泣声。梵高把母亲异常的举动归因为母亲喜静，她并不喜欢这样特别喧闹的场合。但是当他看到母亲在弟弟、妹妹们的生日晚会上的表现时，他推翻了这个想法，而是更加确定母亲不喜欢的只是自己。
等他再稍微长大了一些，他又发现在每年生日时，还有一个固定的节目，那就是母亲会改变自己散步的路线，到屋后一处偏僻的田园里。梵高偷偷地伸出头，看到那儿有一个小小的灰色的土堆，上面写着一些看不清楚的文字。母亲会对着那个土堆发会儿呆，有时候会对它念念叨叨地说一些话，还有的时候竟然会放声大哭。躲在后面的梵高充满了好奇，也有些隐隐的不安，他本能地感觉到这是一个关系到他的家庭并且给母亲大人无限忧愁的地方。
当他七八岁时，他已经认识了很多字。一次，他趁母亲不注意，小心翼翼地来到他之前记住的地方。令他惊异的是，那块小小的土堆竟然是一个坟墓，而且上面刻着自己的名字“文森特·梵高之墓”。他开始以为这是个玩笑，可是联系到这么多年父母在他生日时的表现、对于他不冷不热的态度，他甚至有些害怕，自己到底是谁，难道真正的梵高已经死去，自己只是他们收养的一个男孩吗？
有一次，他鼓起勇气，向父亲提出了这个问题。正在整理书柜的父亲动作停了下来，惊讶地望着梵高：“你怎么会发现的？”他望着坟墓的那个方向，幽幽地说：“梵高，其实你并不会来到这个家庭的。在你出生的前一年的3月30日，我们生下了一个男孩，给他取名叫文森特·梵高。但是生下不久，他就因为先天营养不良夭折。怀他那一年，我们非常想要个孩子，所以从你妈妈怀上他开始，我们就开始想象着那个孩子的模样、和那个孩子相处的点点滴滴、我们三人的幸福生活。每时每刻我们都期待着他来到我们身边。10个月后，他终于来到了世界，让我们欢喜万分。可是，没有多久他就去了，你妈妈也大病了一场。眼睁睁地看着自己的骨肉从自己的身边离去却无能为力那种感觉确实让人沮丧和崩溃。我和你妈妈本来不打算再要孩子，可是世事弄人，3个月后，我们发现又怀上一个孩子，虽然觉得是上帝送来的礼物，但是你妈妈心里还是有点排斥。更没想到的是，你竟然和你的哥哥在同一天降临了。你要原谅你的妈妈在你生日上的态度，因为每一个生日，就让她想起死去的那个文森特。”
梵高听完这些，心里说不出的苦涩。原来自己并不是在父母的期望和祝福中来到世界的小孩，父母给自己的宠爱原来是属于另一个文森特·梵高。而且，自己的生命偏偏会给自己的母亲带来死亡和丧失的这种暗示。从那以后他更加认定父母对弟弟、妹妹们的宠爱是理所当然的，自己理应得到父母的嫌弃。他的话越来越少，越来越把目光和话语转移到那些图画和书上面了。
一般在多个孩子的家里，外向和长得漂亮的孩子更容易受到父母的重视和夸耀，梵高家里也不例外。梵高在家里绝对不是最受人瞩目的那一个。梵高幼年个子矮小，一头红发在同龄人中也显得很显眼，五官也不像平常的外国人那样立体，在个子高挑、面容秀气的弟弟提奥面前显得不值一提。
梵高的性格也十分古怪，一点都不讨人喜欢。因为父亲从事的职业要求，他经常外出演讲，与不同的人打交道，所以父亲永远是一副西装领结裤子丝毫不乱的装扮，平时不苟言笑，有点不怒自威的权威。小梵高很怕父亲，于是他很乖巧地按照父母的要求，和弟弟穿上像父亲一样小绅士的装扮，学习那些语文数学和文法，在他们面前背诵《圣经》，在班级里积极参加各种活动。可是只有小梵高自己知道自己是多么讨厌那一切，自己更喜欢穿着随意的背带裤，坐在房间里静静地翻着自己的书，任思绪在大脑中流淌，或者飞奔到午后的花园和农田里，静静地看着云彩在地上投下深浅不同的影子。小时候的梵高虽然内向，但并不是没有脾气。当他和兄弟姐妹一起看书，对某个人物和场景有不同见解的时候，他总是会连珠炮似的发表自己的观点，直到脸憋得像猪肝一样。其他孩子总是会惊讶哥哥为什么对一个普通的小问题那么在意，非要辩论出个黑白。后来，他们也习惯了放任梵高自己说话，不再与他争执。
梵高知道自己不是最讨父母喜欢的人后，他利用家里的条件越来越沉迷于他的爱好中。他喜欢读各种各样的书，在父亲的书房里，他从《圣经》开始，一本不落地读了他能接触的所有的书。此外，他还继承了妈妈的绘画天赋，内向的性格给了他足够的观察和思考的时间，而一旦有什么东西让他感动，他就有本事能把它转化为图像。在7岁那年，无师自通的梵高画了人生第一幅画像，是对于家里小狗的素描。画面上小狗的线条栩栩如生，表情非常可爱。当他满怀欣喜地把画交到母亲手上的时候，母亲并没有对他的绘画才能表现太多的惊喜，但平时淡漠的脸上总算露出一丝微妙的赞许和喜悦，这让小梵高的心里感到一种肯定和满足。
