蒋介石在碧云寺祭典结束之后，以大将出征凯旋胜利的姿态返回南京。他利用这一声威，当上了国民政府主席，但与前任国民政府主席的权利却大不相同。依照新制定通过的《中华民国国民政府组织法》的规定，国府主席的权力极大，还兼任海、陆、空总司令，这样，蒋介石就变成了一个全国的大独裁者。
但是，蒋介石对手握重兵的阎、冯、李强大的地方实力派别很不放心。军队是军阀的命根子。谁有兵，谁就有权，谁的兵多，谁的权就大。因此，建立蒋氏独裁统治，就得首先从削夺冯、阎、桂的兵权下手。地方实力派一旦失去了军队，也就失去了和蒋介石相抗衡的能力。但是，蒋介石不敢赤裸裸地干，否则惹恼各实力派联合起来造他的反，也难以招架。于是，蒋介石就和他的心腹吴稚晖、宋子文等密谋编造裁兵理由。经过筹划，他们决定以节约开支搞建设为由提倡裁兵。这样，一方面可以避免削夺异己的兵权之嫌，另方面，也可以获得关心国家建设，提高人民生活，贯彻民生主义的好名义，真是一举两得！
为此，他们炮制了《军事善后案》和《军事整理案》，由蒋介石带到北平，宋子文则先去上海召开全国经济会议，制造裁兵舆论，再到南京开全国财政会议，用财政开支来限定各集团军的人数。6月28日，全国经济会议提出《请政府克期裁兵、从事建设案》。29日，全国财政会议又在南京开幕，配合这两个会议的召开，蒋介石的宣传机器全部开动，大造裁兵舆论，印制大量的诸如“实行裁兵”、“和平建国、防止腐化”之类的标语到处张贴。蒋介石南京政府还伪造民意，策划上海商会发表通电，建议筹备“国民裁兵促成会”。在南京党部的纪念周上，何应钦也大谈裁兵的必要性。一时间裁兵之声甚嚣尘上。
蒋介石带头拥护他一手策划的两个会议，在7月5日一天内，发出两道力促裁兵的通电。一是给全国经济会议的电报，他煞有介事地说：
“今日非裁兵无以救国，介石当与各同志一致努力，决不稍有私意以负人民责望之殷”；
二是给各总司令、总指挥的电报，内称：
“今日非裁兵无以救国，非厉行军政财政之统一无以裁兵，我同志当以真正之觉悟与全国人民切实合作，以完成此重大职责。介石尤当竭其绵薄，与我同志共勉之。”
宋子文配合默契，紧紧跟上，蒋介石的两个电报一发表，他就提出了裁兵的根据，称：“现据军事委员会调查，全国共有84个军，270个师，18个独立旅，24个独立团。全年军费照目前编制，经常费共需5.46亿元，临时费共需9660万元，全国每年实收4亿元，加新税也只能收入4.5亿元。宋子文算完了这笔账，便大声疾呼：“自非重行厘定军制，大加裁汰，实无以苏民生之积困。”他提出裁减军队半数，裁至50万人。蒋介石这下子抓住了令箭，遂迫不及待地向阎、桂、冯、李等地方实力派，提出裁军的要求。
蒋介石以紧缩财政开支为借口，提出的裁兵主张，有相当大的欺骗性。中国饱受战乱之苦，但许多人一时还不了解造成这种苦难的原因，错误地认为，裁兵就会带来社会安宁和人民生活水平的提高，因而渴望裁兵。但不久，蒋介石的西洋镜就被拆穿了。
7月6日晚，国民党各路集团军总司令、总指挥及其他要员在碧云寺旁李石曾宅开谈话会，蒋介石抛出来他的《军事善后案》，故弄玄虚，空话连篇，在怎样裁兵问题上大作文章。这项议案提出，全国300个师，裁汰250个师，留下50个师，每师15000人，全国共留80万人。分全国为12个军区，每个军区按比例保留军队，各集团军分头办理。这个方案的奥妙之处，就在于阎、冯、桂三系仅各占一个军区，但它们的兵却很多。而蒋系虽然也占有一个军区，兵也很多，但可以用中央的名义分散到其他一些军区去，而且还可以中央的名义控制其他8个军区。这样，除了蒋介石之外，哪个军区的兵越多，裁掉的也就越多。按照这个方案去做，吃亏最大的是冯玉祥的第二集团军，当然，阎锡山的第三集团军和桂系的第四集团军也吃亏不小。而蒋介石的军队，不仅一个也裁不掉，还因为有的军不足规定人数而要大量补招新兵。可见，蒋介石的裁兵口号，虽然喊得很动听，但骨子里却只是裁别人的兵，他自己的兵不但不减，反而是扩兵。这种损人利己的方案，当然欺骗不了冯玉祥、阎锡山、李宗仁这些沙场老将，他们一个比一个滑头。
还在蒋介石开始制造裁兵舆论、表示解职交出兵权的时候，他们就已经意识到蒋介石的用心不良，预感到蒋要对他们下手了。因此，采取了消极抵抗的对策。冯玉祥装病，隐居于百泉村；阎锡山躲进北海的养心斋，闭门谢客；李宗仁、白崇禧则极力鼓吹实行兵工政策，力图保存实力。阎锡山老奸巨滑，既想保住既得利益，又避免和蒋介石发生正面冲突。桂系在北方根基不稳，也不敢和蒋公开顶撞。但自恃与奉军作战功劳最大、兵力最强的冯玉祥却不听蒋介石的那一套，和蒋公开顶撞。
在蒋介石亮出《军事善后案》的当天，冯玉祥发表了他在7月5日从保定发出的《时局通电》，提出治国安邦的六条措施：①统一军队，废除各集团军总司令、各军事团体总指挥。以军或师为军事最高单位，军权统归军事委员会。各军事领袖应实际参加中央各种工作，常驻首都。②明定裁兵条例，提出和蒋介石截然相反的裁兵标准，反对按各集团军平均或按比例淘汰，主张：枪支不全者裁；老弱不堪用者裁；纪律不佳者裁，训练太缺者裁；③统一政权与财政。④反对“忍辱负重，逆来顺受”的外交方针，主张不亢不卑，卧薪尝胆，充实国力，废除不平等条约。⑤党务工作，要整齐理论，统一意志。⑥一切地方政治设施应以恢复人民小康生活为第一步。
冯系的部队，当时在各派中，除蒋而外是最强的。如果按照冯的标准裁兵，他的军队保留下来会最多，可以压倒其他一些派系，和蒋系相匹敌。这样，冯玉祥就能在中央取得举足轻重的地位。因而他的裁兵标准对其他实力派也不利。
冯玉祥是斗不过蒋介石的。7月6日的谈话会，因意见分歧而无法讨论下去。蒋介石看出，冯玉祥提出的某些条文可以为己所用，便由吴稚晖出面，提议各军首领选一肃静地点，再作计议。这样，7月11日又在汤山召开了谈话会。13日，蒋介石在会上又抛出《军事整理案》。主要的内容包括三个方面：①取消国民革命军总司令、各集团军、海军总司令职。由上述人员及参谋总长，另加3至5人，组成全军编遣委员会实施编遣；②选各集团军中精锐者，编为50至60个师；③全国军队统一编制，打破原建制，分期调集训练。
这个议案从表面上看，似乎是接受了冯玉祥的关于统一军队的主张，但是真正的用意却与冯的主张完全不同。蒋的这个议案，是阴谋利用他掌握的中央大权，采取整编、混编、调集训练的办法，溶化各实力派的军队据为己有。这样，阎锡山、李宗仁、白崇禧认为，冯和蒋唱的是一个调子，怀疑蒋、冯勾结，要搞掉他们。因而，他们既恨蒋介石，也骂冯玉祥。冯则因为蒋介石要溶化其他人军队归为己有，也反对这个提案。由于这次会议采取谈话会的形式，提案没有法律约束，遂不了了之。就在谈话会刚要结束的时候，蒋介石邀请各集团军首领去南京参加五中全会和编遣会。各实力派、各集团军总司令，在北平期间利用各种机会发表演说，攻击别人，抬高自己，获取声誉。
蒋介石在作报告时，以党国最高领袖口吻，训斥那些不肯听他指挥的人，强调要“以党治国”。7月18日，他在北平大学第三院发表演说时说道：“……简单一句话，党员只有义务，没有权利，如果一个党员，只讲权利，不尽义务，借党的招牌，横行一切，你就可以用我蒋介石的话质问他，有没有党员的资格”。锋芒所向，显而易见。
阎锡山预测蒋冯之间矛盾无法调和，在裁兵问题上肯定要闹翻。因而，在其他党国要人纷纷南下去南京参加五中全会时，他于7月30日却从石家庄悄然西折，回到太原。电告南京，请假10日，休养身体。他静观石头城的风云变幻，以便待机而出，坐收渔利。
蒋介石为策划政治阴谋，接收京津之后，又收罗了一批北洋军阀时期的军人政客，如方本仁、杨永泰、吴俊卿、蒋伯承之流，为他出谋划策。他从北平返回南京后，每天晚上一定要和他的谋士聚会一次，计议消灭异己势力的策略和方法。
在一系列的策略中，原政学系的骨干杨永泰为蒋介石出了“削藩策”的高招。
杨永泰向蒋进言。
蒋介石听后，微微笑道：“先生的‘削藩’之策，实乃治国安邦之神方妙策。我马上照计行事。”
8月8日，国民党二届五中全会在南京召开。蒋介石在会上提出了取消各地政治分会的建议。政治分会是蒋介石第一次下野期间，李宗仁同汪精卫、谭延闿等宁、汉双方要人商定的，在南京成立中央特别委员会，在武汉、广州、太原、开封四地设立政治分会。国民党二届四中全会时，规定中央政治会议及各地分会可以继续存在，候第三次全国代表会决定存舍。原设立的四处政治分会，缩小其职权范围，专管政治，不管党务。明确划分了四个政治分会的指导区域，即：广州政治分会指导广东、广西；武汉政治分会指导湖南、湖北；开封政治分会指导河南、陕西、甘肃；太原政治分会指导山西、绥远、察哈尔，不属于以上四个分会的地区归中央管理。政治分会实际上是各自为政的独立王国，所以，蒋介石想实行“削藩”策，必须先取消四个政治分会。
不想，蒋介石削藩策的第一招，就被冯玉祥、李济深搬出两件法宝驳回：
一、二届四中全会已经作出决定，地方政治分会应当保留到国民党第三次全国代表大会召开之时，现在取消，违反四中全会决议；
二、中央决定，各地分区“剿共”，如果取消政治分会，就会削弱“剿共”的力量。
此时，在山西“养病”的阎锡山突然在太原举行宣誓典礼，就任太原分会主席。本来，阎锡山早已被任命为太原政治分会主席，可他早不就职，晚不就职，偏偏在蒋介石宣布取消政治分会时就职，实际上是给蒋介石一个示威。汪派的粤籍中委，手中没有兵权，他们提出反对“以军制党，以军干政”的口号。蒋介石正好利用粤籍中委的情绪，与何应钦联名，又将在北平商讨过的《军事整理案》在全会上提了出来，得到粤籍中委的支持，提案通过。蒋介石的裁兵计划列入了国民党中央的决议。这是蒋介石在这次会议上所取得的主要成果。
但是，蒋介石并未能通过五中全会取消各地政治分会，他的削藩计即告失败，这使他大失所望，又称病跑进了上海医院。各地方实力派受到了蒋介石的《军事整理案》的威胁，全部产生了对抗情绪。李济深偕同戴季陶畅游莫干山，其他众委员也多在沪、杭观山玩水，吃喝嬉耍，以消除心中烦闷。冯玉祥回到河南后，到各地巡视军队，又在西北军五原誓师两周年这一天重新召开纪念大会，举行阅兵式与提灯会。冯玉祥还发表纪念宣言，其中称：
“民众之痛苦未除，军阀之根株未绝，不平等条约之取消更不知远在何日……凡此内忧外患，皆我革命军人未尽之责……。”
冯玉祥的举动，是对蒋介石的武装示威。阎锡山虽然未象冯玉祥那样大张旗鼓地与蒋介石相对抗，却不声不响地在大同整顿他的第三集团军，训练部队，提高作战能力，准备应付意外的变化。
五中全会后，蒋介石的建立军事独裁统治政策，遇到了无法克服的阻碍，他与各地方实力派出现了僵持的政治局面。于是，蒋介石要寻求打破僵局的途径。
1928年8月下旬，传来了胡汉民、孙科将要回国的消息。为僵持的政局而苦恼的蒋介石顿时慌了手脚。他以为胡、孙二人此时回国，一定来者不善。因为他已听到传言，胡汉民与汪精卫曾在巴黎会晤，交换过对国内政局的见解。蒋介石恐胡、孙回国的目的，是要乘他政治危机之时，策动两广起兵倒蒋。为解燃眉之急，蒋介石只好去拉拢汪派。他先派宋子文到上海与陈公博联系，随后他又亲赴陈宅拜访，想请陈公博找到唐生智的亲信刘兴，叫他前往河北，从白崇禧手中把唐的旧部抢过来，以削弱两广的兵力。蒋又命令嫡系将领刘峙作好军事准备，防止胡、孙回国后粤桂兵变。蒋介石以为大难临头而惶惶不安。
8月28日，胡汉民、孙科一行到达香港。他们既没有去广州发动兵变，也没有发表攻击蒋介石的言论。胡汉民于29日发表了一席对时局的讲话，谈了三项内容：一、宣称中国应当彻底实施“五权宪法”；二、国民党内部要团结，不要动辄以抨击左派为名抨击他人；三、主张撤销政治分会。胡认为政治分会是适应军事时期的需要而产生的，是过渡性的。现已进入训政时期，“当无再存留之必要”。胡并否认外间谣传，声言不在广州停留，数日即将北行。
胡汉民的言行，使蒋介石转忧为喜。他意识到胡汉民的归来，非但不会加害于他，反而会帮助他摆脱困境。蒋介石固属多疑，胡汉民也不是傻瓜笨蛋，明知手无实力，不可能与蒋介石作硬性较量。原来胡汉民此番欧洲考察之后，其收获是带回来一个“以柔克刚”之术。以“文墨”来对付“黩武”。利用国民党内军事实力派的矛盾，采取先分权，再逐步夺权的办法。他的“武器”是中山先生的“五权宪法”思想，及他们据此而炮制的五权分立的政府组织法及五权宪法草案。在国民党统一全国初期，胡汉民提出这一套政治主张，可谓正合时宜。
蒋介石得知胡汉民一行将不日北来，立刻“病愈”出院，盼早日与胡汉民相见。由于胡发表的谈话，强调党的团结，并含有批评蒋派之意，所以非蒋派中央委员也对胡的到来抱有希望，纷纷由各地到达南京、上海，等待对政局重作磋商。僵持的政局出现了松动、活跃的气氛。9月3日，胡汉民、陈铭枢等由香港到达上海。蒋介石特派张群为代表，李济深派邓家产为代表，前往码头欢迎。胡汉民一时成了政界的中心人物，党国的达官贵人穿梭般地访胡及密谈。蒋、胡二人更是进行了多次长时间的秘密协商，他们达成了联合执政的协议。当时在上海的国民党中央委员，似乎都接受了蒋、胡对政局的新安排。
国民党的多数中央委员能够接受胡汉民的主张，其原因是：一、他把国民党的政治分赃披上了中山思想的外衣，具有不小的迷惑力。因为人人都知道，孙中山先生是五权宪法的创立者，一贯主张“政府有能，人民有权”，人民掌握政权，政府行使治权。而治权的行使，要实行立法、司法、行政、考试、监察五个机关的分立，以防止个人独裁。这是中山先生把孟德斯鸠的《法意》理论与欧美资产阶级国家三权分立宪法的实践经验，及中国封建王朝的“科举制”、“监察御史制”揉合在一起提出来的政权建设理论。这是对封建专制制度一项根本改革。二、胡汉民拟就的《国民政府组织法草案》规定，在国民党中央的统辖之下，组成国民政府，总揽治权。由相互平行的行政院、立法院、司法院、考试院、监察院分别执行行政权、立法权、司法权、考试权、监察权。五院互不统属，都直接对国民党中央负责。五院各设正、副院长，下设各部、会。国民政府设主席一人，委员十二至十六人，兼任五院正副院长。由国府委员组成国务会议，负责处理国务并调解五院间的关系。由国民政府主席担任国务会议主席。公布法律，发布命令，要经国务会议议定，由国民政府主席及五院长署名行之。国民政府统辖海陆空军。国民政府主席的职权有三项：一是代表国民政府接见外使，举行或参与国际典礼；二是兼任陆海空军总司令；三是主持国务会议。此外无其他权力。
胡汉民的用意是不使权力集中在国民政府主席或行政院长手里，而要使主席与各院长权力相平等。但强调国民党中央具有至高无上的权力，利用国民党中央执监委员会限制军人专政，当然也包括蒋介石在内。由于胡汉民在国民党内处于重要地位，他会成为中央执委会的常委之一。这样他就可以使用手中的职务和一部分行政权力，发展自己的势力。
其他派系认为，胡的主张对他们利多弊少。虽然取消政治分会对实力派不利，但胡的主张分散了蒋介石的权力，他们也分到一份利益，可以防止被蒋介石独吞，因此愿意接受胡的方案。
蒋介石认为胡的方案不仅不能限制他，反而会掩护他的独裁。因为所谓党权，实际是军权支配一切。只要不动他的军权，不愁大权独揽。至于五院制的政府组织法，在他看来只不过是种形式，手握军权，这些政府机关不难对付。同时，蒋介石还想利用这次组织政府的机会，实现他的“削藩策”，对各实力派的首领加官进爵，调到中央供职，然后进行编遣裁兵。所以蒋介石积极准备在“双十节”国庆前，公布任职名单，借节日欢庆胜利之气氛，“杯酒释军权”。这样，国民党各派系抱着对五院制各取所需的态度达成妥协。
10月3日，国民党中央执行委员会常务会议通过了《训政纲领》和《中华民国国民政府组织法》。又在10月8日选出南京政府委员名单，即：蒋介石、胡汉民、蔡元培、戴季陶、王宠惠、冯玉祥、孙科、陈果夫、何应钦、李宗仁、李济深、杨树庄、阎锡山、林森、张继、张学良等十七人。
各院、部的组成名单：国民政府主席蒋介石；副院长冯玉祥；立法院长胡汉民，副院长林森；司法院长王宠惠，副院长张继；考试院长戴季陶，副院长孙科；监察院长蔡元培，副院长陈果夫。
行政院的各部部长名单：内务部长阎锡山，外交部长王正廷，军政部长冯玉祥，财政部长宋子文，交通部长王伯群，铁道部长孙科，工商部长孔祥熙，农矿部长易培基，教育部长蒋梦麟，卫生部长薛笃弼。又任命李济深为参谋部参谋总长，何应钦任训练总监察部总监，李宗仁为军事参议院院长。10月10日晨8时，蒋介石带领五院长在南京中央党部宣誓就职。同时敦促各任职人员立即到南京供职。
蒋介石就职国民政府主席的当天，美、英政府带头发来贺电。日本政府毫无表示。一些国家和驻华公使也发来贺电“支持中国新体制的起步”。
蒋介石看到只有冯玉祥一个人来开编遣会议，于是叫国民党中央宣传部颁发《整理军事宣传标语要点》，大力宣传整理军事的重要意义和必要性，是实行训政的先决条件，从事建设的前提，是“绥靖地方，革除人民痛苦”的保证，是“预备外交的后盾”等等。总之，把整理军事说成是解决国民党一切矛盾的唯一方法，呼吁各军事首领“在编遣会议上团结起来”，并要求全国都支持召开编遣会议。
蒋介石的宣传起到了作用。各地报刊发表了许多文章、评论，支持整理军事。一些富商大贾，从有利于他们的生财之道出发，以申诉广大民众受兵之苦为名，要求统一整编军队，打破军事割据。各实力派的首领顶不住上下的压力，只好都跑到南京去开编遣军队的会议。
蒋介石取消政治分会的企图未能实现，“削藩”的计谋受挫之后，又施“调虎离山”之计，力促冯玉祥、阎锡山、李宗仁等到南京供职，使他们脱离所辖地区和所部军队，进而夺掉他们的军权。为此，他首先在冯玉祥身上下功夫，让冯充当一只带头羊，于是他以盟弟的身份，投冯之所好，进行说服。
蒋介石深知冯玉祥强烈要求废除不平等条约，便对冯说：“北伐完成，是辛亥革命后的第一次真正统一。为了一新国际耳目，只有各集团军总司令齐集首都，共同建一个新的中国，那时列强不能不承认，这才有力量废除不平等条约。”
蒋介石知道冯玉祥乐于接受恭维，接着又说：“这样的新中国由我们手里建成，在历史上是多么光荣的事件！可是只有大哥您才有这种高瞻远瞩，旁的人见不及此。所以希望大哥首创入京供职，把军、政等权统一于中央。以后中央的事务，我当一切听大哥的。只有大哥先到了南京，接受了中央的职务，阎、李他们便不敢不来，大一统的新中国等于是大哥造成的！”
蒋介石更知道冯玉祥军饷欠缺，又把话题转向部队待遇上来：“历年来第二集团军太苦了，那是因为还未统一，财政没有办法，以后部队都是国家的，大哥只要到了中央，绝对办到一律平等待遇，第一集团军吃什么，第二集团军也吃什么！”
蒋介石真的给冯部补助了一些军饷。
冯玉样被蒋介石的甜言蜜语和军饷补助打动了，他一面规劝部下不要只重视地盘，一面接受了行政院副院长和军政部长职务，并到南京供职。此时，冯玉祥既和蒋介石有矛盾，防范蒋介石消灭异己，又幻想能够和蒋合作共事，保持和巩固自己的地位及军事实力，这是他接受蒋介石引诱的思想基础。
蒋介石的目的达到了，第一、二集团军平等待遇的许诺也就不算数了，但他有托辞：
“国家虽然统一了，财政的统一和收入的增加，还要经过一个相当的时期。大哥的军队训练有素，纪律是好的，多年不发饷也不兵变；我的部队复杂，不发饷就会发生事故。因而还要委屈第二集团军一个时期。”
冯玉祥听了这些不是理由的理由，自然不太高兴，但又感到似乎也有一定道理，不一定是蒋有意说了不算，自己是军政部长，能够了解军需的实际情况，根据情况的变化可以随时调整军饷等。然而，事态的发展使他发现自己上了当，原来他这个军政部长是块空招牌，军政部所属的军需署署长是蒋的亲信，竟然拒绝他调阅账目，随时调整军饷的打算根本无法实现。
蒋冯之间的矛盾与裂痕，到了编遣会议召开之时，便更加尖锐和明朗了。
