当时流行的欧洲传说认为，如果人们让艺术家作画，他们的灵魂就会被摄走。这就是当时的人对艺术家望而却步以及高更和梵高很少能找到愿意成为模特的人的原因。
第一个愿意为两个人做模特的是车站咖啡馆的老板娘玛丽·吉诺。吉诺夫人已经年逾40岁，本来不愿掺和到为年轻人做模特这样时髦的事情中，但是两个人都是咖啡店的常客，为每晚不太景气的营业额贡献了大头，而且高更一直游说自己如果把自己和咖啡店一并画在画中传播出去，也不失为一种为咖啡店打广告的好方法。于是，周末的11月3日，趁人流不是很多的时候，吉诺夫人穿上自己最体面的风衣来到了两人的黄房子里，坐在两个人面前，专心当起了模特。
两幅《吉诺夫人》绾着精致的发髻、锥子形尖尖的脸上也能看到精心画的眉眼、穿着雅致的大衣，帽子后还飞舞着飘带。可是，仔细看后，两幅画中还是有一些差别：高更的画里，吉诺夫人面朝自己，嘴唇微启，眉毛上扬，投向的眼神里满是欢快、愉悦还有若隐若现的挑拨，而因为吉诺夫人背对着梵高，梵高笔下的脸庞则是只有半边侧脸，只有懒惰、困倦和不愿投向一瞥的敷衍。从这两幅画可以看出，在处理与女性关系方面，高更技高一筹，而且显然收获更大，而梵高则是一个弱者。纵观他的一生，他坎坷的感情遭遇似乎也论证了这一点。
生活的号角一旦吹起，旅途就平稳起来。但两个人也免不了有些争执和不和。两个人的蜜月期一过去，两者之间那种不可弥合的矛盾就显现了出来。两个人朝夕相处，把最琐碎的细节也暴露在对方面前，一点点不适应像鞋子里的沙子，开始可能只是挠脚那样的小力度，可是时间一长，就足以把皮肤磨得血肉模糊。梵高是典型的神经质的性格，情绪波动很大，时而热情似火，时而萎靡颓废，而一旦陷入自己的情绪终究对外界环境不管不顾。高更的性格截然相反。他内心向往着原始社会的那种狂野和本能，但总是能很好地把这种向往克制在一定范围内。这可能与他当过股票经纪人和水手有关，他的身上充斥世俗的气息。
在自己的外形、穿衣和家庭卫生方面，两个人的生活习惯就迥然不同。梵高搞得真是一团糟。他本身个子矮小，按现在的标准换算，大概在一米六三左右，十分不讲究自己的外在，常常是拖着很久没洗的、沾满颜料的棉衫和长袍出现在人们的视野里。虽然经常洗澡，但由于酗酒身上常发出一股酒精的恶臭，常让别人敬而远之。他在的地方，无论空间大小和整洁程度如何，都会散落着他喜欢看的小说，角落里也塞满他最新的习作，灵感一上来，他就顾不得其他，随处摸出一张纸、一支笔就开始勾勾画画起来，嘴里念念有词，完全进入忘我的境界。除了画画，他就是个生活白痴，梵高曾经主动提出要下厨犒劳高更，结果把油画的染料当作食用油倒进了锅里，差点引起爆炸，而看着他无辜又真诚的表情，高更的责备也说不出口。相比之下，高更就讲究得多。他喜欢穿宽松舒适而又别致的水手服，脸上的两撇小胡子也会梳得服服帖帖。而且，作为一个长期在海洋上独自生活的男人，他的生活能力也很强，他能把自己的空间收拾得井井有条，需要的东西能在一秒钟之内翻出来。为了减少开支，高更也主动承担了下厨的任务，买回来两条鱼和几只蟹，下锅一翻炒就成了两个人的美味，引得梵高好评不断。
除了生活方式的不同，两个人在艺术见解上也有很大的差别。在高更自己的传记里，他这样理解梵高的艺术风格：梵高是理想主义，自己是冷静有序的原始主义。高更崇尚塞尚和德加，而梵高对这两个人嗤之以鼻。高更喜欢在室内画画，精雕细琢，梵高喜欢端着画板跑到室外，迅速画完释放自己的激情。在梵高心中，高更是一位色彩大师，更是一位脚步自由、不受世俗羁绊的行者。而高更认为梵高身上背负了太多的经济和家庭压力，不利于自由地进行艺术创作。
两个人的吵架都是以绘画上的微小分歧为开始。10月份的阿尔勒，风变得比任何时候都大，走在街上的人们仿佛都要被掀倒，两个人在外面的画架和画布也难逃此厄运。所以，两个人只好待在家里。因为屋外呼啸的狂风，找不到灵感的梵高在屋里焦躁地走来走去，沉重的脚步和呼吸声在狭小的客厅里像穿过扩音器一样放大。
“这该死的风那么大，我困在屋里什么也做不了。”梵高挠着头，显然快要崩溃。
“淡定点，我的兄弟，也许你可以靠我教你的，在室内想象画一点东西。”
“不行不行，我和你不一样。你可以待着不动想一天把记忆杂七杂八拼凑在一起。那招对我没用。我想一会儿就不愿意想了，还是面对面写真让我有安全感。”
“你愿意那样趴在物品上画画那你就去呗，等风停下来就好了。”高更对于梵高爆发的脾气早已习惯，连回复都像哄孩子一样。
“这个破地方啥时候能有个持续几天的好天气？”
“哼，接受吧，这个地方还不是你找的吗？你自己做了决定，现在就得承担当时决策的后果。”
“你现在开始怪我了，我来到这儿租房、买家具、购置生活用品，这一切还不是为了让咱们两个的绘画更舒适点？你现在把生活中的不满怪罪于我，是不是有点忘恩负义了？”
“舒适？这个地方哪一点舒适了？房子小，屋子贵，整个镇又小又破，刮起风来跟疯狗发作一样，门都出不去。最奇葩的是你这样一个室友，生活白痴一个，处处需要我照应，还时不时发个脾气。我真是受够了。”
“受够了？你终于讲出你的真心话了吧？你根本就不想来阿尔勒。要不是我弟弟把你的欠债还了，你怎么可能会来到这个鬼地方？”
就这样，两个人一开始的艺术讨论发展到后来就成了各个领域的彼此指责。一开始还在耐心地给对方讲道理，讲到后来两个人的脸越来越红，都忘记了吵架的缘由和每一句论证的目的，只是像吹满气的气球，纯粹地向对方身上发泄怒气。
吵到后来，一般高更像哄孩子一样让步。“好了，一切都是您对，我的船长！”
听到高更让步的梵高赢得了胜利，却没感受到什么快乐，他只觉得头疼欲裂，浑身的气力仿佛被抽离，像一个麻袋发出一声“嘭”的闷响，倒在地上。
在高更看来，梵高是个神经质、易冲动的人，一旦情绪上来，就像一个疯子一样陷入完全失控的状态。在他的笔下，梵高的眼神迷离，身体后仰，笔下的向日葵也像水一般一样晕开，没有一点朝气。就连梵高自己看到这幅画也惊呼：“这简直就是喝醉了的我。”
共同生活也是有矛盾的，而两个性格张扬的艺术家的共同生活注定矛盾更多、更激烈。这种冲突酝酿发酵了一个月，终于达到燃点，爆发成一场大火，在12月肆无忌惮地烧了起来。
起初的美好并没有延续得很长，它终结于1888年12月23日。巧合的是，1881年的圣诞节，因为对凯表姐狂热的追求，他被气急败坏的父亲赶出家门，在万家团聚的圣诞夜晚像一位被流放的耶稣，独自品尝着降临其身上的苦难。1888年的圣诞节，神经记忆中被抛弃、被鄙夷的熟悉记忆又一次涌上来，而这次他想做一下抗争，哪怕这抗争于他人是无益而好笑的。
“明天就是圣诞夜了，虽然我们暂居这儿，无法和家人团聚，但是看看我们的收获，这一切都是有意义的，不是吗？这是个特殊的日子，就算我们多花点钱去庆祝，提奥也觉得是理所当然的。所以，高更，我们去买点酒和火鸡吧，过一个像样的圣诞节。”梵高不是不知道在这两个月的相处中两个人之间浮现了很多矛盾，自己对高更浪漫化的认识被打破，高更对自己也颇有微词，可是时值圣诞节，他还是主动表示友好，希望过一个温馨的节日。
没有想到，这份友好换来的却是冷漠和嘲笑。
“不用了，不用再花提奥的钱了。他也真是可怜，明明自己前途无量，生活舒适，偏偏要带上30多岁还靠他养、像蚂蟥一样吸血的哥哥。”高更在收拾自己的东西，头也没抬地撂下这么一句。
“你，你什么意思？”突然的讽刺让梵高有点摸不着头脑。
“我没有什么意思，我只是表达出了我的看法。我拿了提奥的钱，起码给他送去了可以带来收入的画。你呢？提奥供养了你那么多年，你拿什么报答他的？哦，对了，画作一幅也没卖出去，堆在他家是多么好的艺术品啊！”
心底里最隐晦、最在意的伤疤猛然被提起，梵高的第一反应是逃避。他一边摇着头，一边本能地往后退，其间碰倒了桌子旁的椅子也没有在意。“不，不，别说了，高更，求你别说了，高更。”
“哼，你就是这样一副软弱的熊样。也只有提奥会没有怨言地供应你那么久，如果我是他，我肯定早就一巴掌把你打醒，让你不要再做梦了。”
高更不顾哆哆嗦嗦的梵高，继续向他投掷言语上的匕首。“对了，我还有一件事要告诉你。我的那几幅画被卖掉后，画商把钱支付给我了，我已经有钱支付我周游各地寻找灵感作画的计划。所以，从今天起，我也不会住在这儿了。”
听到高更要走，一直躲在旁边颤抖的梵高仿佛如梦初醒，赶紧站起来喊道：“不，高更，不要走。两个人之间有冲突是很正常的，我们可以一起解决啊。而且，而且，两个人意见不一，才能……才能促进交流。你忘记了要一起建立南方艺术联盟、振兴艺术的誓言了吗？”
“什么艺术联盟？你觉得我和凡尔纳会和你在一起组成什么狗屁联盟吗？你的画狂躁、平庸，而且一直卖不出去，谁要是和你成为同盟，谁是要倒霉的。”
“我，我会继续努力画画的。卖不出去仅仅是暂时的。”
“不要再自我安慰了。实话告诉你，我当时之所以同意来这儿，是因为你那可怜的弟弟主动提把我欠的钱还了。现在，我的画卖掉了，我也没必要忍受你这个邋遢、固执、没本事的软蛋老是跟在我后面了。我是出于礼貌和你说一声，再见了，好自为之吧。”
