1259年，蒙哥汗死后，当时阿里不哥戍守都城哈拉和林（今蒙古乌兰巴托西南哈刺和林），而忽必烈正率军在湖北与南宋作战，旭烈兀则率军在叙利亚境内作战（参见蒙古第三次西征之战），于是阿里不哥觉得机会难得，开始谋夺汗位。阿里不哥令左丞相阿兰答儿征兵漠北，燕京行省脱里赤征兵于河朔。
忽必烈受到密报后，立即率军北归，于1260年三月，到达开平（今内蒙古正兰旗东北闪电河北岸），东道诸王塔察儿、移相哥（也先哥）、忽剌忽儿、爪都，西道诸王合丹、阿只吉、阿必失合等也来到开平城，召开了忽里台。诸王大臣共推忽必烈为大汗，即元世祖，建元纪岁，定当年为中统元年。召开诸王大会，即帝位。
五月，阿里不哥在漠北和林城西按坦河也召集支持他的东、西道诸王召开忽里台，宣布即汗位。其中有蒙哥汗妻斡儿哈纳哈敦和蒙哥的三个儿子阿速台、玉龙答失及昔里吉，西道诸王有察合台孙阿鲁忽、术赤长子斡儿答的儿子合剌察儿等人，东道诸王有塔察儿的儿子乃蛮台等。随蒙哥汗征宋的一些将领、驻六盘山的蒙古军主帅浑都海、陕西的刘太平都拥护阿里不哥。
阿里不哥称汗后，命刘太平、霍鲁海行省于关右，约六盘山守将浑都海等，自关中进兵反忽必烈。同时，阿里不哥派遣阿蓝答儿率军南下支援他们，试图举兵占领漠南汉地。
忽必烈遣廉希宪为京兆等路宣抚使，出兵陕西，廉希宪击败了阿里不哥在这个地区的主要支持者刘太平，并控制了该地区本来供应阿里不哥军队的粮仓。在取得这个胜利之后，他又向西进军，把阿里不哥的支持者驱逐出西北重镇凉州和甘州。同时，他派遣了一批精锐部队向南开往四川，牢牢控制了那个重要省份。
忽必烈的支持者宗王合丹、汪良臣等则击败浑都海和阿蓝答儿军，杀死二人。这样，忽必烈的军队差不多已经肃清了中国西北和西南部的所有敌人，控制了关陇川蜀地区。
七月，忽必烈率军亲征和林，和林城依靠中原供给粮饷，此时运输中断，粮饷不继。阿里不哥封察合台后王阿鲁忽为察合台汗，命其回国就任，约其济以兵械粮饷，并守锡尔河，以防旭烈兀和钦察汗国的别儿哥二王来侵犯。九月，阿里不哥逃回自己的封地谦谦州（今叶尼塞河上游南）。他恐怕忽必烈来攻，一边采用缓兵之计，遣使假称愿奉忽必烈为汗，待马肥之后入觐，一边约阿鲁忽、旭烈兀、别儿哥等诸王至，共商继位之事。忽必烈留宗王移相哥率兵守和林等待阿里不哥，自己返回开平。
阿里不哥投降
此前，忽必烈为控制中亚察合台汗国，派遣察合台曾孙阿必失合的的儿子兀鲁克前往察合台汗国主政，途经陕西时被支持阿里不哥的人逮捕，并被处斩。
为了争夺察合台汗国，阿里不哥派遣阿鲁忽前去主政。而阿鲁忽也比较幸运，他终于到达了目的地，并被立为察合台汗国的可汗。阿里不哥此时似乎在中亚有了一个极为宝贵的盟友，一个可以为他提供急需的粮饷和其他补给品的盟友。控制察合台汗国及其资源，或者至少与其保持良好关系，对阿里不哥是至关重要的。因为只要阿鲁忽掌握权力并和阿里不哥保持良好关系，阿里不哥就有机会和忽必烈一争高下。
但是，阿鲁忽不仅不向阿里不哥提供军械粮饷，反而倒向元世祖一边。阿里不哥愤怒之下率军攻打阿鲁忽，并攻占了阿力麻里（今新疆霍城西北克根河西）和亦列河（今伊犁河）等地，阿鲁忽退至撒麻耳干。阿里不哥在察合台汗国境内烧杀掳掠，不久，跟随他的一些诸王也以种种借口离他而去，阿里不哥只好班师。
1261年秋，阿里不哥在回封地途中突然袭击和林，重新占据漠北。元世祖再次亲征，十一月，双方大战于昔木土脑儿，阿里不哥退回封地。元世祖通过承认旭烈兀和阿鲁忽对波斯及河中地区的统治权，得到了他们的支持。钦察汗支持阿里不哥，但只是从中调停，不愿直接参与双方争夺。窝阔台汗国的海都虽支持阿里不哥，也只是观望。
1262年二月，正当元世祖与阿里不哥交战之际，盘踞山东的汉族地主武装头目李璮以宋朝为外援，发动了叛乱，占据济南，联络各地汉族世侯，试图控制中原地区，但是，汉族世侯无人响应。元世祖调集蒙古军及各地汉族世侯之兵围攻济南，七月，城破，李璮被杀。
忽必烈即位后，接受汉族幕僚的建议，在中原采用传统的封建统治方式，任用儒臣和汉族世侯，建立中书省、十路宣抚司等机构，凭借中原雄厚的财力和物力，打败了阿里不哥。平定李璮叛乱后，元世祖因势利导，罢世侯，置牧守，实行兵民分治。罢州郡官世袭，实行迁转法，剥夺汉族地主掌握私人军队和专制一方的权力，加强了中央集权。
此前，阿里不哥在察合台汗国境内的暴行已促使很多人背叛了他。
但他的军队的变节行为在1263年极端严酷的冬天显著增加。饥荒威胁着阿里不哥的军队和他的国家的生存，许多士兵和马匹死亡。在春天来临之前，甚至他的一些最忠心的支持者也抛弃了他。旭烈兀的一个儿子玉木忽儿声称自己生病了，离开他前往中亚西部城镇撒马尔罕。
蒙哥的儿子玉龙答失向阿里不哥索要他父亲的玉玺。当阿里不哥的信使携带玉玺到达的时候，玉龙答失拿起玉玺便离开，投奔了忽必烈。
阿鲁忽得知阿里不哥陷于困境之中，于是重新集合他的军队，准备把他以前的盟友、现在的仇敌从伊犁河谷赶出去。
1264年，阿里不哥的选择余地已经很小了。如果他的军队和支持者得不到全面补给，他根本无法与阿鲁忽抗衡。而从阿鲁忽的地盘撤退，意味着他必须入侵忽必烈的地盘，那样肯定会促使忽必烈迅速采取报复行动。阿里不哥决定转而向忽必烈投降。
忽必烈建都燕京
阿里不哥投降后，忽必烈一开始并没有打算处罚他的弟弟。然而，他的不作为却使他疏远了大部分支持者，他们认为阿里不哥和他的追随者应该受到处罚。忽必烈审问了阿里不哥，发现了煽动他和他哥哥做对、争夺汗位的主要同谋者。然后，忽必烈宣布，蒙哥时代最显要的官员孛鲁合是主谋，并把他处死。阿里不哥的其他九个主要追随者遭受了同样的命运。
此时，是审判阿里不哥的时候了。忽必烈觉得由自己作为审判弟弟的唯一审判官不太安全，因此决定召集一个忽里台来决定如何处置阿里不哥。同样重要的是，他要在这次忽里台上确认自己继承汗位的合法性。他的信使四出报信，前往波斯、俄国和中亚，召集各汗国的主要可汗前来开会。可是回应并不热烈：三位可汗都找借口推迟出席。
在俄国的蒙古统治者别儿哥和波斯可汗旭烈兀都在进行战争，无法离开自己的汗国。察合台汗国可汗阿鲁忽，则借口他自己还没有被确认为汗，无法担任审判官去审判阿里不哥。然而，这三个可汗都没有活多久。旭烈兀在1265年忽必烈信使来到之后不久就死去了，而别儿哥和阿鲁忽一年后也相继死去。忽必烈此时可以任意处置阿里不哥了。
阿里不哥感染上了一种疾病，死于1266年初。他的死解除了忽必烈的一大烦恼。正因为阿里不哥的死亡对忽必烈来说是件好事，所以才引起人们对他的死因的怀疑。他的意外得病和突然离世使人们怀疑其中有鬼。阿里不哥是一个精力充沛的男人，刚刚四十多岁，此前并无重病征兆。
此后，蒙古国的统治中心也由漠北的和林移至漠南。早在1264年，忽必烈就升燕京（今北京）为中都，以开平为上都。1268年，在中都旧城东北建造新城。1271年（至元八年），正式建国号“大元”，第二年，升中都新城为大都。
此后，忽必烈及元朝历代大汗冬季在大都城避寒，春季北移上都一带，在辽、金皇帝的捺钵地——金莲川度夏。一般夏历二月或三月从大都启程去上都，沿途狩猎游幸，八、九月天寒始归。大汗在行帐中处理政务，臣僚们除在两都留守者外，均随大汗奔波于两都之间。
大汗在上都或附近的草原会见前来觐见的诸王、宗亲、大臣，宴赉赏赐，召集忽里台，祭祀祖先，联络与族人的感情，享受草原生活。大汗、臣僚及怯薛的数万马驼也在此逐水草牧放，以减轻内地饲养负担，天寒返回大都后，一部分马驼由宣徽院发放草料饲养，一部分在腹里地区分散给民间喂养。因此，元世祖虽然建国号“大元”，但是“大蒙古国”之称没有取消，蒙古贵族还是以草原为立国之本。
细说南宋王朝
1267年，元世祖在巩固了自己的统治地位之后，开始着手出兵南宋。对于忽必烈来说，虽然他已经控制了传统中国的中心区域，但是，他还没有成为长江以南地区的主人。而从唐代初期开始，南方的地位便变得越来越突出。那里的土地比北方更加肥沃，海洋贸易使得沿海城市非常繁荣。而且忽必烈需要征服南宋，以便赢得汉人的尊重，并消除这个敌对王朝对其统治持续不断的威胁。因为南宋仍然念念不忘夺回失去的北中国领土。
不过占领中国南方绝非易事。首先蒙古军队和骑兵不习惯南方的气候和地形，蒙古战马要面对数不清的障碍。南方是山岭地带，不仅道路崎岖不平，而且森林遍布，比草原的环境艰难得多。而且，南方酷热的天气也让蒙古战马对难以适应，几乎没有饲料供它们吃，因为在南方，所有可耕地都被用来种植庄稼了。蒙古人自己也对热带和亚热带疾病毫无防备，在那里，寄生虫和蚊子会传播疾病，而他们对此根本没有抵抗力。
除此之外，南宋拥有一支强大的海军，且有长江天险做屏障。因此，要占领它的一些主要城市，必须由海军发起攻击才可能奏效。因此，蒙古人必须学会修造战船，并征募水手，熟悉海上作战。这对于不习水性的蒙古人来说极为不利。
不过，南宋也有其严重的困难。像汉朝和唐朝在其不同历史时期遭遇的那样，宋朝政府也面临着严重的财政问题。地主和官员的腐败行为已经对南宋造成了致命的危害。
而且当时，南宋大臣贾似道大权在握，他清洗了一批异己官员，并杀掉了几个。为补充这些腐败官员留下的空缺，他越过一些资历较老的官员，提拔了自己的亲信和低级官员。一批战功卓著的将帅，或被罢官，或被治罪而死，致使民心相悖，将士离心，战备松弛，坐失强兵巩固边防的大好时机。这样的政治动荡和分裂，使得南宋在面对统一而强大的蒙古人的挑战时显得异常脆弱。
蒙军破襄樊
忽必烈认识到，要战胜南宋，他必须拥有一支强大的水上作战部队，于是开始着手夺取战船或修造战船。南宋变节者刘整是造船计划最热心的鼓吹者之一。他坚持认为，没有战船，蒙古人就无法征服南宋。他的鼓吹得到了忽必烈的支持，蒙古人终于建立了一支由四部或四“翼”组成的海军。
宋元初次交战的地点是襄阳。襄阳和毗邻城市樊城位于今湖北省的北部边界，坐落在汉水两岸，二城隔水相望，汉水在更南部的武昌汇入长江。其重要性在于其独特的战略地位：它们是进入长江流域途中的最后堡垒，守护着通往长江中游江汉平原、东南和西部地区的交通要道。夺取这两座城镇将为蒙古人提供一个基地，可对南部其他地区发起攻击。
南宋视襄阳为朝廷根本，关系国家存亡的重地，遂开府筑城，储粮屯军，经多年经营，建成为城高池深、兵精粮足的军事重镇。南宋朝廷任命吕文焕为这座似乎固若金汤的城池的总指挥官。
忽必烈早在开庆元年攻宋时，就知襄樊地位重要，后经商挺、郝经、郭侃等谋臣建策，逐渐形成了先取襄樊的方略。忽必烈平定内乱后，经过五年的战争准备，具备了进行大规模战争的条件。当宋降将刘整进献攻宋方略，宜先从事襄阳时，即下决心，实施中间突破。
1269年，忽必烈命都元帅阿术、刘整率师攻襄樊，旋遣枢密副使史天泽、驸马忽剌出督师襄樊。史天泽、阿术、刘整针对襄阳、樊城城防坚固，宋军长于守城隘和水战的情况，采取筑堡连城、长期围困、水陆阻援、待机破城的战法，集兵10万围城，同时在万山（今襄樊西）西训练水军7万人，造战船5000艘，以增强蒙古水军力量。
不过，驻守襄阳的守军决不会不战而降。他们有充足的食物和饮水供应，只是缺乏衣物、盐以及其他非生活必需品。因此，他们能承受长时期的围困。然而宋廷坚持要打破封锁。在1269年8月，南宋将领夏贵率领三千条小船开往鹿门山，但是他被击败了，损失了两千名士兵和五十条船只。第二年10月，范文虎又步夏贵之后尘，而他则损失了共计一千人和三十条船。另一次救援行动发生在1271年8月。这次尝试同样以惨败而告终，两千名南宋士兵失去生命。
蒙古军队的封锁固然很有效，他们已经把襄阳和樊城同南宋其他地区分割开来了，但他们无法制伏顽强的守军。
1271年，阿八哈给忽必烈送来了亦思马因和阿老瓦丁。在蒙古汗廷做短暂的停留之后，这两位穆斯林在1272年末来到战区，勘测现场，开始着手修造战争机器。他们建造了投石器和弹射器，能把巨石抛掷到很远的地方。12月，蒙古军队开始使用这些装置对樊城发起攻击。有了如此强大的武器支持，几天后，樊城陷落了。
吕文焕收到樊城守军溃败的报告后，立刻意识到他自己在襄阳的部队也无法抵抗这种巨型火炮的攻击，吕文焕投降了。为时将近五年的围城战终于结束了，南宋抵抗“北虏”的一个重要标志突然被拔除了。
宋恭宗降元
突破襄樊，元军也就突破了宋朝在长江上游的防御体系。对此，宋廷朝野大为震动，急忙调整部署，把战略防御重点退移至长江一线。
忽必烈增兵10万，乘胜大举攻宋。一边命驻蜀元军进攻两川要地，以阻宋军东援；另一边命合丹、刘整行淮西枢密院，博罗欢为淮东都元帅，分别进攻两淮，牵制宋军，配合主力攻宋；同时还命荆湖行省左丞相伯颜、平章政事阿术率军20万，自襄阳顺汉水入长江，直取临安。并告诫伯颜勿妄杀，以争取人心。
右丞相伯颜率水陆大军沿长江顺流东下，势如破竹。1275年，元军攻打建康，宋朝建康留守赵潽弃城而逃，都统司都统制徐王荣等开城请降，元军兵不血刃，占领建康。元军进占建康后，伯颜派兵进攻建康周围的重要城镇，随即攻陷镇江，控制了江东地区，建立起稳固的南进基地。
与此同时，为防止两淮宋军南下救援，忽必烈命阿术率军渡江，进围扬州。阿术在扬州东南的瓜洲修造楼橹，修整战具，又在扬州城外围树栅，修筑坚固的堡垒长围，截断了宋军增援部队，又派水师堵截江面，控制了长江天险，断绝了宋军渡江南救临安的通道。
元军占领建康，进围扬州，攻占两淮，南宋都城临安完全失去了屏障。元军在建康休整后，兵精粮足，战斗力更加强盛，随时准备攻取临安，处在进攻的有利地位。
