随着对付左派取得了胜利，蒋介石在南京政府各委员会内的权力也稳固起来。然而，这时互相冲突的主要舞台转移到了各省。
时至1929年，国民政府的旗帜已在中国本土全境和满洲飘扬。国民党军已于1928年6 月占领北京，北京改名为北平。1928年 12 月 29 日，满洲四省军阀张学良宣布效忠国民党政府。随着国家这时自1916年以来第一次名义上实现统一，南京当局可以为和平建国谋划了。
然而，一个主要障碍依然存在。革命的军事阶段获得成功，在很大程度上不是因为许多省的军阀在战场上战败，而是因为他们归附了革命运动。虽然这些军阀获得了国民党党籍，并接受了南京政府等级制中的显赫职位，但是他们不相信蒋介石，妒忌他日益扩大的权力，而且大多对国民党运动的思想意识漠不关心。致力于国家统一和中央集权的蒋介石及南京当局，在北伐期间，有必要容忍地方军阀的自主权力。他们事实上甚至设立了一些当地的政治分会，使各省军阀的地位合法化。这些在1928年设立的政治分会，名义上隶属南京中央政治会议；然而，事实上它们是自治的行政机关，至少是暂时使大军阀集团的地方统治合法化。于是，控制甘肃、陕西和河南三省的冯玉祥，主持开封的政治分会；阎锡山的山西政府，因太原政治分会而得以合法化；所谓的桂系控制着汉口、北平和广州的政治分会，分别由李宗仁、白崇禧和李济深主持。张学良在东北易帜之后，第六个政治分会在沈阳成立。
蒋介石把在各地设立政治分会看作权宜之计，因为他一心想把所有行政的和军队的权力都集中在南京政府的控制下。因此，不久以后，他向地方军阀的自治权力挑战。首先，在1928年末，南京宣布各地政治分会将在1929年3 月撤销。然后，在1929年1 月，全国编遣会议在南京召开，中央政府当局在会议上提出裁减中国军队的方案。
编遣军队的必要性普遍得到承认。自清朝覆亡以来，中国军队已经惊人地膨胀。1929年，大约为200 万人（而清朝约为40万人；1922年约为120 万人）。如今革命的军事阶段已经结束，庞大的军队已无必要，并且也是国家财力无法支持的负担。例如，在1928年，南京嫡系军队约为24万人，年需军费约3.6 亿元。而南京政府年财政收入（清偿债务后）仅为3 亿元。此外，虽然地方军阀的军队不构成南京的直接财政负担，但是，他们却截留本来可以纳入中央政府财政收入的税款。人们因此认为，除非裁减军队，政府将无法进行国家的社会和经济重建工作。
在编遣会议上，中国大军阀——蒋介石、冯玉祥、阎锡山、李宗仁及其他的人——同意全国军队裁减至 80 万人，限制军事支出占政府财政收入的41% ，并设立统一指挥机构。然而，编遣会议是一个失败的会议，因为军阀们对蒋介石的疑虑在会议期间加剧了。蒋介石的黄埔系军队事实上是中国训练和指挥得最好的军队，蒋介石利用战斗力差的军队应予首先复员的原则，要求地方军阀比他本人作出更大的牺牲。因为军队是地方军阀政治权力的主要泉源，地方军阀认为蒋介石不过是利用军队编遣问题来建立对他们的政治优势。不管地方军阀多么可能愿为国家的利益作出贡献——这当然是可争辩的——他们可不想放弃自己的野心，而让蒋介石增强他的实力。因为他们并不觉得蒋介石比他们更有权利来要求掌握国家权力和充当领导。所以，他们在1929年1 月末鼓掌赞成军队编遣原则之后，离开了编遣会议，却决心为保持他们的军事地位和政治地位而进行反蒋。至于蒋介石，他同样决心建立中央政府对各省的统治。结果是连续不断、损失惨重的内战。
编遣会议闭幕仅两个月后，第一次内战即在1929年3 月爆发，当时桂系——危机表面上是蒋介石挑起的——反叛南京政府。这是一次很难对付的挑战，因为桂系领袖是很有才能的战术家，指挥军队约23万人。冯玉祥——他指挥22万人，大概是蒋介石最有能量的军事对手——也有可能加入叛军一方。这次挑战可能毁灭一位次要的人物，但它却适合蒋介石发挥他的天才。因为蒋介石收买了冯玉祥，据说花了200 万元和答应他控制山东省。然后，蒋介石以他的优势部队在不到两个月内击败桂系军队。李宗仁和白崇禧在河北、湖南- 湖北的绝对统治随即瓦解。他们仓皇退回广西省老家，怀着屈辱，以待来日。
1929年5 月，仅一个月后，蒋介石违背把山东交给冯玉祥控制的诺言，激起了冯玉祥的反叛。在这次较量中，冯玉祥一半的军队——全部最精锐的部队10万人——突然投奔中央政府，这又是一次由大宗贿赂引起的突然变节。在这场角逐中，冯玉祥残部被逐出山东和河南，阎锡山在山西消极观望。
随着冯玉祥军队受到中央军的重创，华北的力量均势显然转向有利于南京政府。阎锡山因此感到威胁，于1930年2 月和3 月，与大为削弱的冯玉祥共同组成新的反蒋运动。这就是北方联盟，对蒋介石权力迄今最严重的一次挑战。因为阎锡山和冯玉祥如今已形成一个广泛的反蒋力量联盟，桂系李宗仁和白崇禧允诺从华南配合他们的进攻。蒋介石的许多文职对手——包括形形色色的集团诸如汪精卫及其改组派和极右的西山会议派——为反蒋运动提供行政和思想意识方面的力量。不久，这些根本不相同的成分开始创立一个独立而永久的政权所需要的组织机构。“国民党扩大会议”——在职能上与国民党中央执行委员会相当——于1930年7 月在北平召开。同年9 月，一个新国民政府成立，阎锡山任国民政府主席。新政权颁布约法，包含保证各项人身自由的条款，也吸引了相当普遍的支持，特别是开始感到受南京政治压制刺痛的全国知识分子的支持。
然而，早在同年7 月，蒋介石就命令他的军队对付北方联盟。在这次内战中，作战不同于军阀老一套的战斗方式。南京军队和北方军队战斗十分激烈。物资损失巨大；在四个月的战斗中，双方伤亡约25万人。截至同年9 月，正当北方联盟宣告组成新政府时，南京方面即将在内战中取得优势，反叛政府从北平逃到太原。然而，最后，北方联盟和南京政府的领袖都认识到奉系军阀张学良能够转变战争形势，于是双方都讨好张学良。最后，南京政府贿赂张学良1000万元并许以管理黄河以北全境，把他争取过去。张学良在9 月中旬发表宣言拥护中央政府。北方联盟从而失败。可是南京政府从此次战役的胜利中得益甚少。原因是张学良迅速率领10万东北军开入北平、天津地区，控制了主要铁路及天津海关的巨额关税收入。因此，华北依然处于南京政府行政统治之外。
反叛事件依然不断发生。在逼蒋介石下野方面，下一次的反叛实际上成功了——共六个星期。这次反叛的基本原因与前几次相同，妒忌蒋介石日益扩大的实力和害怕南京政府中央集权的要求。然而，总是有些次要问题给反叛提供道德上有理的外衣。这次激起反叛的事件，是蒋介石扣留胡汉民。蒋介石痛感北方联盟因颁布约法而得民心，他决定于1931年2 月宣布颁布同样的文件。他坚定地说，“没有约法，民众的生命和财产就没有保障……没有对人身和财产的保障，就没有国家的真正统一和内战的结束。”
然而，胡汉民激烈反对这一提案。他公开宣称颁布约法是违反孙逸仙的意图——虽然他反对的真实原因，很可能是害怕蒋介石意在根据新约法出任总统以扩大权力。为反对蒋介石单方面决定颁布约法，胡汉民辞去立法院长职务。于是蒋介石扣留了胡汉民，因为——据蒋介石解释——“只有采取这种办法他的光荣的过去才可以保全无损”。
表面上为抗议蒋介石扣留胡汉民，两广军阀和蒋介石的各类文官对手（如汪精卫、西山会议派和孙逸仙之子孙科），于 1931 年5 月在广州建立了一个分裂主义者的新政权。国民党中央执行委员会‘非常会议’组成，由此进而在1931年6 月1 日创建了新的国民政府。实权则握于地方军阀之手，特别是广东省主席陈济棠之手。
新广州政权和南京政府互相斥责和非难。广州政权声称只有独裁者蒋介石在南京辞职，它才放弃反对立场。
若不是日本军队在1931年9 月18日进犯满洲，这场冲突可能像前几次一样要兵戎相见。由于中国民众，特别是学生的抗日激昂情绪，要求停止党内纷争和组织联合政府共御外侮的压力变得不可抗拒。经过非常秘密的谈判和复杂的会议——包括在南京和广州分别召开的两个国民党第四次全国代表大会，和在上海举行的宁粤和平统一会议——之后，两个对立政权达成协议。12月15日，蒋介石辞去国民政府主席、行政院长和陆海空军总司令职务，只保留国民党中央执行委员会常务委员的身份，“引退”回到他的故乡浙江溪口。
新政府于是在南京组成。德高望重但无能力的老革命家林森，被提名出任国民政府主席。孙科出任行政院长，成为新政府的实际首脑。
孙科政府在1932年1 月1 日就职，仅存在25天。国民党三大人物——汪精卫、胡汉民和蒋介石——不是被排斥在外，就是拒绝与新政府合作。新政府未能取得上海金融界的支持，因此不能履行它的财政职责。中央军依然效忠蒋介石。新政府的领导人被面临的种种紧急问题压得一筹莫展——甚至早在1 月2 日就恳求（但未成功）蒋介石和汪精卫回南京，以便政府听取他们的建议。
孙科政府的境况日益恶化，蒋介石看准这种困境是他重新掌权的机会。然而，反对他的“独裁”一直如此强烈，他知道不可能恢复引退前所拥有的职位。蒋介石、汪精卫和孙科在杭州经过三天紧张的谈判后，研究出解决困境的方案。1932年1 月21日，三人一同回到南京。不久谈判纪要公布。1 月25日，孙科及行政院各部会官员辞职。三天后，汪精卫宣誓就任行政院长；1 月29日，蒋介石出任新成立的军事委员会委员长。作为“总理”的汪精卫，形式上是这个政权分管民事的行政首长。然而，渐渐变得很明显，实权掌握在蒋介石的手中。从1932年直到1949年，蒋介石是国民党政权中统治一切的领袖。