目睹忽必烈分地中的这些发展，蒙哥必然会对他的弟弟与其汉人臣民的认同不安。蒙哥的大臣们也指责忽必烈避开传统的蒙古法律采用汉人的法律统治他的分地。1257年蒙哥派出两位亲信大臣调查忽必烈分地的状况，揭露出他们声称的大量违法和越权行动后，他们逮捕和处死了几位高级官员，不过清洗未殃及忽必烈。几个月之后，蒙哥面临两个关键问题，并且感觉到要解决这两个问题，忽必烈的协助非常重要。第一个问题是已经上升到猛烈的械斗并且破坏庙宇道观的佛教和道教之间的宗教冲突；第二个问题是征服比中原最富裕地区更为富庶的江南地区。忽必烈和他的汉人谋士可以帮助蒙哥解决儒道之间的争端并且同时帮助他得到中原汉人的忠诚，因此蒙哥在1258年上半年安排了和他弟弟的一次会面，他们两人重归旧好。事实上，他们都需要对方。这次会见后不久，忽必烈召集300位佛教僧侣、200位道士以及200位儒士和朝廷官员对有争执的问题进行辩论。他要对这两个宗教团体的论战主张进行裁决。道教和佛教都追求“唯我独尊”并且都期待着非宗教权威的支持。辩论的焦点是所谓“化胡”理论（野蛮人的皈依），道教徒坚持认为老子曾离开中国到西域去，在西域老子把自己变换成佛祖并且开始传播佛教学说，他们暗示佛教只不过是老子发展的道教中的一种简单的庸俗化形式，以便吸引比较落后的印度人。道教的辩护者依据两本古书《老子化胡经》和《老子八十一化图》中所找到的证据。但是，他们的佛教对手尤其是吐蕃的八思巴对这些著作的可靠性提出疑问。他们指出包括司马迁的伟大历史著作《史记》在内的早期中国史料都没有提到过这两部著作，八思巴提出这两本书是后来的伪造品。忽必烈赞同这种观点。这位蒙古王子向道教徒提供一次挽回的机会。他邀请道教徒表演他们精通的绝技，由于不能完成这项挑战，道教徒被宣判为是这次辩论的失败者。忽必烈命令烧毁所有的《老子化胡经》和《老子八十一化图》，并且把没收道教徒的财富归还给佛教寺院。忽必烈没有禁止道教，仅仅抑制他所认为的过分行为，因为惩罚性的清洗会激怒道教徒，他们的许多支持者将会阻碍蒙古人统治中国北方的努力。忽必烈的决定以及他惩罚道教徒的温和态度看来得到了他的汉人臣民的赞同。
1258年年底，蒙哥作出征服江南的计划。他计划在四条战线上展开进攻。由他本人统率的军队首先试图占领四川然后向东挺进。忽必烈接着应该率领另一支军队从开平出发在长江中游的鄂州渡过长江，并在鄂州吸引住南宋军队。另外两支军队将从云南以及陕西的六盘山出兵，后者进逼宋朝重镇襄阳。蒙古人显然希望西部战场的迅速胜利会导致宋朝投降。因为遇到宋兵的顽强抵抗，蒙哥自己指挥的征战没有达到他的预想。1258年3月占领成都之后，他的远征军在1258年下半年和1259年的前七个月徒劳地陷入试图占领牢固守卫的合州城（今四川合川）的战斗之中。1259年8月11日，蒙哥病死于合州附近的军中。
蒙哥去世后，蒙古人在欧亚大陆上的征战全部停顿下来。蒙哥的军队不再向前移动，也未和其他三支进攻宋朝的军队进行联络。在中东，扩大蒙古在西部疆域控制的蒙哥的弟弟旭烈兀仓促地返回蒙古本土，只留下一支小部队守卫新占领的地区。蒙古帝国的这种混乱是由于缺少对汗位的有序继承而造成的。
1259年在拖雷家族中展开了皇位争夺。这不仅仅是一场两个人之间的争夺，因为他们各自代表着蒙古贵族中的主要派别。忽必烈受到被他征服的国家的文明的吸引并且寻找他的民众的建议和帮助，他代表着受到定居世界影响，并且希望同他们和解的蒙古人；而他的弟弟阿里不哥则作为传统的蒙古方式及准则的捍卫者出现。对于阿里不哥，草原世界要比农耕世界更有吸引力。他不信任他的两个哥哥旭烈兀和忽必烈，并且认为他们受到外来准则和观点的腐蚀，由此引发了涉及到蒙古帝国未来方向的兄弟之间的争斗。
这场争夺推迟了几个月。1259年9月中旬，忽必烈通过他的异母兄弟派出的信使获悉蒙哥的死讯，他的这位兄弟要求忽必烈返回蒙古本土选举新的大汗。此时忽必烈刚刚到达长江北岸并且正准备向南入侵。按《元史》的说法，他告诉使者：“吾奉命南来，岂可无功遽还？”波斯史学家拉施特证实了这个说法，注明忽必烈的反应是，“我们带着一支多如蚂蚁和蝗虫的军队来到这里，我们的使命尚未完成，怎么能够返回，难道仅仅因为传闻？”看起来忽必烈希望击败宋朝以提高汗位争夺中的地位，他应该作为一位成功的军事领导人投入这场争夺。出于这个原因，他没有立即返回北方。为了得到支持，忽必烈不得不依靠汉地的资源和汉人臣民。他发布了一份由他的儒士幕僚王鹗起草的诏书，承认对于统治中原光靠蒙古军事技能是不够的。为了统一中国需要一位仁义的和按照先人传统进行统治的贤人，并且暗示他正是这样的人。他还提出减少百姓的赋税和徭役负担。在发布这份诏书几天后忽必烈采用了汉制年号“中统”，尽管他还没有为他的王朝采用一个汉文国号。他设立的政府机构中书省和宣慰使司类似于传统的中原机构。事实上，忽必烈希望向所有的汉人示意——他想采纳传统中原统治者的服饰和风格。但是南宋的汉人不接受这种让步。他们把忽必烈派来对双方冲突进行外交协商的使者郝经扣押起来。1260年郝经被投入牢中，一直关押到13世纪70年代忽必烈成功地发动对南宋的军事征战为止。
但是争夺帝位对于忽必烈来说，还是比较有利的，因为忽必烈自己可以利用中国北方的资源，并且利用占据中原的优势封锁向阿里不可提供的物资供应。以和林为基地，阿里不哥需要输入大部分粮食，忽必烈决心切断他弟弟的供应线。而甘肃、东北以及更西的畏兀儿是由忽必烈的盟友控制的。阿里不哥供给的主要来源是以中亚为基地的察合台汗阿鲁忽。起初阿鲁忽支持阿里不哥争夺帝位，但是对税收及分配掠夺品的争执使他们反目。因此，1262年以后，阿里不哥没有了可依赖的盟友以及可靠的供应来源。对他来说，放弃帝位争夺只是时间问题。在几次小冲突之后，1263年阿里不哥向忽必烈投降。对忽必烈足够有利的是，几年后阿里不哥在被监管中死去，人们怀疑他是被毒死的。尽管阿里不哥死了，忽必烈的权力仍然面临着其他威胁。在把自己扮演成为蒙古帝国的大汗的努力中，忽必烈仍然摆脱不了对他即位的合法性的怀疑。
同样，接受忽必烈为中国的皇帝的基础也是脆弱的，因为出现了几位权力的竞争者。他的第一个对手是山东益都的李璮。汉文史料描述李璮是一个“反叛的逆臣”，因为他最终倒戈反对忽必烈。从而，他被看成为是一位反叛而不是一位献身建立中国王朝的忠臣。撇开不谈这种错误的表述，李璮的确对忽必烈自称为中国皇帝构成了直接威胁。早期，在对宋朝的战争中李璮和蒙哥合作并且袭击过几座滨海城镇。当忽必烈1260年登上中国皇位时，看来没有理由怀疑李璮对蒙古的忠诚。另外，李璮是王文统的女婿，而王文统刚被忽必烈任命为中书省的平章政事，这是政府里最有影响的官职之一。
李的反叛
1260年和1261年，忽必烈送给李璮金银，作为对宋战争的费用。但在1261年下半年，李璮准备和忽必烈决裂并且实行与南宋的一项和约。由于可以从山东贮藏的盐和铜得到巨大财富，李璮拥有向蒙古统治发起重要挑战所需的资源。他可能已经得到宋朝给予支持的保证并且必然认为和南宋的贸易以及其他经济关系要比与蒙古的友好关系更有实利。另外，在种族上作为一个汉人，他可能具有忠于宋朝的感情。不论出于什么动机，1262年2月22日他背叛了他过去认可的君主。忽必烈立即对此作出反应，派出几支最信任的军队来对付这位麻烦的汉人领导人。忽必烈的两位主要将领史天泽和史枢以及儒士幕僚赵璧前去粉碎李璮的反叛军队。数量上的优势在几个月之内就显示出来，8月初李璮被击败并被抓获。朝廷的士兵按通常为贵族施行的处死方法，把李璮放在一个袋中用他们的马把他踩死。他的岳父王文统在此之后也很快被处死，并且为了对王文统受到的惩罚提供法律根据，公开宣布了王文统在叛乱中的造反及“叛迹”。
李璮的反叛在忽必烈的统治中是一个转折点，因为它增加了忽必烈对汉人的猜疑。在一个重要经济地区发生的由一位重要的汉人领导的，并且得到一位受信任的最高层汉人显贵隐蔽支持的叛乱，肯定会对忽必烈产生影响。从这个时刻开始，他自然对仅依赖他的汉人助手统治中国产生怀疑，作为替代，他从非汉人幕僚中寻求协助。即使在他成为大汗和中国皇帝之前，忽必烈已经招募出身于不同种族的幕僚。而且，李璮的背叛引起更大的对依赖汉人的怀疑，忽必烈更强烈地意识到需要非汉人的幕僚和官吏。他的妻子察必支持统治上的这种改变。察必渴望成为有权力的皇后，而不仅仅是一个部落首领的妻子。她对不同背景的尤其是吐蕃背景的官吏的庇护也补充了忽必烈的政策。然而，他们两人仍意识到他们的大部分臣民是汉人，从而容纳某些汉人价值观念和制度是必不可少的。
忽必烈早期实行的行政制度意在吸引汉人的支持并且反映蒙古人的利益。但是，和以前的中国朝代不同，忽必烈新设计的政府不实行科举。这种需要对孔子学说进行反复学习和探讨的考试从7世纪起为中国的各朝代提供了许多官员，并且为北方的辽、金所采纳。但是，忽必烈不急于把自己囿于由汉人思想熏陶出的幕僚和官员的圈子之内。此外，他想拥有任命自己官员的权力。不过他所建立的制度应该是他的汉人臣民所熟悉的。
传统的中国政府机构中书省负责大部分行政事务，如接收呈交给皇帝的奏章以及制定法律。中书省的负责人在主要的政治决策上和忽必烈商量，然后由左丞相和右丞相监督的六部执行。枢密院负责军事事务，御史台监察全国官吏的行为并且向皇帝呈写报告。尽管中央事务的大部分框架类似于更早的中国各朝代，但地方控制系统是不同的。中国分成行省，各省由行中书省丞相管理。皇帝还指定蒙古人或中亚人为专门代表（达鲁花赤）检查各省官员及各省180路地方官吏的活动。
忽必烈的政治制度明显地不同于以前中国各朝代的政治制度。首先，他把居民分成三个种族。蒙古人占据最重要的位置，然后是称为色目人的西亚和中亚人，称为汉人的中国北方居民最初构成最低的阶层，而在征服中国南部之后称为南人的南方汉人变为最低的阶层并且排除在一些最重要的文职之外。忽必烈认识到如果想避免为人口多得多的汉人所吞没，蒙古人必须拥有控制权。概括地说，比起以前的中国各朝代对控制的强调要更多。
忽必烈关心的是官员（其中不少人不是蒙古人）保持忠心、诚实和廉洁。“蒙古的监察系统……要比任何一个前朝的系统更为渗透得多，并且它与中央集权紧密联系的程度在中国的监察史上是前所未有的。”忽必烈寻求保持官员的忠诚同时防止他们滥用职权。受贿的官吏、在履行职权时缺乏热情的官吏或者向他们的臣民过分征税的官员要受到严厉的惩罚。同时忽必烈需要新的制度来控制和保持蒙古人的统治地位。从窝阔台时代开始，许多蒙古贵族得到封地的赏赐，在他们自己的封地里他们认为自己是至高至上的并且几乎不允许干预。而忽必烈必须使这些封地得到中央政府的监控，坚持使这些统治者必须遵守他的政府制定的法律和制度。另外，他期望由他而不是封地的拥有者来征收赋税和征募国家的军队。
统一中国
至元八年（1271年），忽必烈建国号为大元。次年，确定以大都为首都。中央集权政治的重新确立，恢复了正常的统治秩序，对人民的赋役剥削限制在一定的数额之内。并采取了一些有利于农业和手工业生产的措施，如立司农司、垦荒屯田、兴修水利、限制抑良为奴等。但是，这个政权也保留了大量的蒙古落后旧制。这些制度在元代一直保留下来，严重地束缚了生产力的发展，使元代的社会矛盾愈益激化。同时，忽必烈又积极着手消灭南宋的战争，至元十一年，命伯颜大举伐宋。十三年，下临安。十六年最后消灭了流亡在崖山的南宋残余势力，完成了全国的大统一。元朝是中国历史上第一个少数民族统治全国的王朝，它初步奠定了中国疆域的规模。
全国统一后，忽必烈的保守、嗜利和黩武等消极因素都有了发展。他重用回回人阿合马。阿合马从中统初便主管中央财政，多方搜刮，权势日重，后阿合马独擅朝政。十九年，大都发生了王著、高和尚刺杀阿合马事件。此后，忽必烈又先后任卢世荣、桑哥专理财政，都以失败而告终。同期，忽必烈接连派遣军队远征日本、安南、占城、缅甸与爪哇，都遭到失败。但抗击海都、笃哇等西北诸王的侵扰和平服东北诸王乃颜叛乱，具有一定的积极作用。
在中国建立政府之后，忽必烈就把他的注意力转向对外关系。和他的蒙古前辈一样，忽必烈懂得必须坚持领土扩张。在蒙古人的心目中，衡量一位统治者的成就在某种意义上讲就是看他是否有能力将更多的财富、人民和领土并入他的版图。同样，汉人相信贤明的君主应该使外国人臣服并且接受中国至上的观念。外国人应该不可抗拒地受到中国统治者的德政以及浩荡皇恩的吸引，蒙古人和汉人的世界观念导致忽必烈把扩张放在首要位置上。忽必烈获取权力的方式也可能导致他追求对外征服，因为他曾经受到他自己弟弟的挑战，在他作为蒙古世界的统治者的合法性上确实笼罩着疑云。忽必烈可能试图通过进行对外战争消除这种怀疑，因为新的征服将会支撑他在蒙古人中的声誉。
