届五中全会上，指出，以后的主要任务是“巩固国家基础”，由“军政时期”转入“训政时期”。随后，蒋、桂、冯、阎的矛盾激化，战争迫在眉睫，蒋介石需要这个理论家帮他“补天”。
胡汉民抵达香港时，一些朋友劝他不要前往南京任职，蒋介石不会给什么好处。胡当时说：“自古文武结合，武人马上打天下，文人动笔治太平。汉高祖时还有叔孙通帮他定朝仪，难道蒋介石就不需要帮助了吧！国民党多年奋斗，还只有蒋介石干出点名堂。过去得失我不想计较，我想扶蒋介石治理天下。”胡的老友邓泽如见他不听劝告，就赠送一个精致的竹笼，内装了一只小黄雀，暗示你到南京将成为“笼中之鸟”。胡汉民明白其用意，但他不相信蒋会如此对待他。
到了南京，胡汉民力排众议，推举蒋介石当了国民政府主席。蒋介石在同各地军阀混战时，胡汉民则在南京指挥国民党所有宣传机构和政治机构，用笔杆对各地军阀进行讨伐。胡尽心力地料理政务。
中原大战结束后，蒋介石筹划召开国民会议，制定训政约法，准备出任中华民国大总统。蒋胡因此事发生了冲突。胡汉民希望蒋介石把治理国家的大权交给自己。他曾两次考察土耳其，非常欣赏土耳其的基马尔革命。回国后，他多次发表演说，宣传土耳其的经验，说基马尔革命成功后，就长期养病不出，一切政治问题都由内阁总理伊斯墨代行处理。醉翁之意不在酒，这实际上是要蒋介石让权。
蒋介石不仅毫无退意，而且，事无巨细什么都要管，连国民党中央党部说了都不算，一定要他点头。胡汉民感到等待蒋让权是不可能的，他就公开地争，与蒋介石唱对台戏，批评蒋介石独裁。１９３０年１１月，国民党召开三届四中全会，吴雅晖等人贯彻蒋介石的旨意，竭力主张通过国民议会制定约法，然后依据约法选举蒋为总统。胡汉民会上公开反对，表示不能由国民会议制定约法。
会议之后，胡汉民在国民党反蒋派系中仍然积极活动。１９３１年，蒋介石下令把胡汉民软禁起来。因此，引发了两广事变，陈济棠、李宗仁在广州联合反蒋，成立广州国民政府，与南京政府对峙，蒋介石屈服于压力，被迫放出胡汉民。此后，胡汉民淡出政坛。
评析：
蒋胡之间的关系，正好应了这样一句话，在政治角逐中，没有永久的朋友，也没有永久的敌人，只有永久的利益。蒋介石用实用主义处理他与胡汉民这类政客的关系，有用即朋友，利用完，达到自己的目的，就一脚踢开，毫不客气。蒋介石在利用还是拒绝、抛弃胡汉民的问题上，是权衡厉害再做选择的。
蒋介石用实用主义处理他同胡汉民的关系，的确在政治上占了上风，获益不小。然而“过河拆桥”这类旧官场的为官之道毕竟是没落、腐朽的。常言道，路不平旁人踩。蒋介石羁押胡汉民引起了国民党官场内的极大震动，造成了反蒋派的联合，为平息风波，蒋介石只有第二次“下野”。