二度下野，同样祸起内政。
蒋大权在手，便立意通过司法条例等令其师出有名。但此举引发国民党另一大佬胡汉民的不满。胡汉民1930年出任立法院长，把持司法大权。但之后蒋介石未经立法院通过，与日本签订了《关税协定》，不久蒋又公布《危害民国紧急治罪法》，一系列举动均未通过胡，胡汉民却执意不做摆设，对此大加抨击，两人嫌隙渐深。
1931年初，蒋介石宣布要召开“国民会议”，另制《训政约法》，胡汉民认为“总理之建国大纲及第一次全国代表大会之宣言中之对内政纲，较任何约法都完备，无需再作出钦定式之约法”。蒋听此言甚为恼火，遂决定给胡颜色看看。
2月26日，他派人给胡汉民送去一个请柬，约28日于总司令部晚餐。28日晚胡开完会到达司令部，不见有宴，只见首都警察厅长吴思豫一人坐在那里。不久蒋介石出来相见，两人发生争执，蒋即下令将胡汉民软禁，后送去汤山。
胡案发生后，国民党内部斗争激烈，粤派要人纷纷离开南京去广州，有孙科、古应芬、王宠惠、刘纪文等。汪精卫和邹鲁则乘机活动指责蒋介石。 4月30日，邓泽如、林森、肖佛成、古应芬四监委正式提出“弹劾”案，要蒋介石“下野”。蒋被迫向中央监委“自请查办”。在两广方面，陈济棠、陈策、李
宗仁、张发奎等相继通电响应，要蒋介石在 48小时内“下野”。而南京方面以何应钦为首，发出“忠告陈济棠”之通电，进行对抗。
双方剑拔弩张之际，“九一八”事变旋即发生，事发后南京的中央大学、金陵大学等各地学生纷纷集会、游行示威，通电全国，要求蒋介石出兵抗日。9月28日，学生冒雨到丁家桥国民党中央党部请愿，蒋介石被迫出来“接见”。11月24日，全国各地到南京请愿的学生5000多人到中央党部请愿，蒋介石对他们说：“如三个月内不出兵，砍蒋某之头，以谢国人。”学生们不信他的话，次日在国民政府的大门前悬挂一口大钟，不时敲打，以示警告。蒋介石被迫“手书”答应学生“抗日”。
在各派压力之下，再加上学生运动频发，蒋介石遂决定释放胡汉民，并与胡、汪在上海见面。随即蒋又“以退为进”，在1931年12月召开的国民党四届一中全会上，再度宣布辞职下野，辞去国民政府主席、行政院长等职，交出政权、党权、军权。国民政府则迅速改选林森为主席，改为内阁制政府，并由汪精卫担任行政院长，但由于不满蒋介石未遭到实质处分，广州国民政府虽然自行取消通令，但仍设中央执行委员会西南执行部，仍维持半独立的状态。
蒋虽下野，仍是国民党中央政治会议常委，仍暗中掌握军权，控制了军队等要害部门，除通过将自己人安置在京畿周围省份担任地方官长，将首都边防军队、特务机制牢牢掌控外，包括黄埔军队没有其他人能够调动，以及宋子文、江浙财团除了蒋介石之外一概拒不合作的态度，都让蒋介石无可替代，让新成立的国民政府面临先天不足、后天失调的命运。
1932年1月4日，孙科迫于形势，辞去行政院长职务，南京政权出现危机，亲蒋派乘机提出“请蒋介石到南京主持中央政治会议”之动议，当即得到通过。2月21日，蒋介石回到南京。3月6日被推举为“ 军事委员会委员长”兼军事参谋部参谋长，与汪联合执政。
上海淞沪战役后，国民政府无力支持变局，舆论沸腾，蒋介石窥此机会，再度出山并任军事委员会委员长，开始了长时期的“蒋委员长”时代，也提供了新一阶段的蒋汪合作基础。至于胡汉民则因为长达数月遭蒋介石非法监禁的生活，与蒋结下不解之仇，遂连年奔走宣传反蒋、反共、反日，并于1935年因脑溢血逝世于广州。
委员长时代的蒋，党内大佬对其已构不成威胁，汪精卫掌行政院，而党权
尽弃。蒋则通过各种手段，扩充实力，其后更出任国民党总裁，其独裁之势渐成，遂无人可以更之。