但当时全国革命形势已走向低潮，反动军事力量在各处都大大超过革命力量。从湘赣边界来说，群众没有充分发动起来，本来就很薄弱的兵力又分散使用，各自为战，行动并不统一，进攻目标却是湖南的中心城市长沙。这个计划本来是难以实现的。当起义军师部和第一团在十一日到达平江东郊金坪时，由于起义前夕收编的黔军邱国轩团突然叛变并从背后袭击，部队受到巨大损失。第三团也在十四日进攻浏阳东门市时因力弱而失利。第二团出师后最初发展顺利，在十二日和十六日先后攻克醴陵、浏阳县城，但因国民党正规军集中优势兵力反攻，几乎全部溃散。中共中央派任弼时到湖南去调查时，夏明翰告诉他：“这次我军所到之地农民并未起来，远不及北伐军到时农民的踊跃。大多数农民甚恐慌不敢行动，恐怕军队失败大祸临来的心理充满了农民的脑筋。”(22)毛泽东看到这种实际情况，当机立断，改变原有部署，下令各路起义部队停止进攻，先退到浏阳文家市集中。这时，工农革命军第一师已由原来的五千人锐减到一千五百余人，受到严重挫折。九月十五日晚，中共湖南省委决定停止原来准备在第二天发动的长沙暴动。
在湘赣边界起义的原定计划严重受挫的情况下，起义军立刻需要作出抉择：是继续进攻还是实行退却？如果退却的话，向哪里退却？继续进攻长沙，是中共中央原来的决定，不这样做会被加上“逃跑”的罪名。中国共产党在武装斗争方面，以往也只有过向城市进攻的经验。但在当时敌我力量悬殊的实际情况下，这样做只会导致全军覆没。面对如此两难的抉择时，这个决心是很不好下的。
九月十九日晚，毛泽东在文家市里仁学校主持召开有师、团主要负责人参加的前敌委员会会议，讨论工农革命军今后的行动方向问题。工农革命军第一师师长余洒度仍坚持“取浏阳直攻长沙”，这是符合中共中央的主张的，起义部队中也有不少人抱有这种情绪。毛泽东清醒地对客观形势作出判断，认定当地农民起义并没有形成巨大声势，单靠工农革命军的现有力量不可能攻占国民党军队强固设防的长沙，湖南省委原来的计划已无法实现，断然主张放弃进攻长沙，把起义军向南转移到敌人统治力量薄弱的农村山区，寻找落脚点，以保存革命力量，再图发展。提出这个主张，在当时是需要有极大勇气的。会议经过激烈争论，在总指挥卢德铭等支持下通过了毛泽东的主张，“议决退往湘南”(23)。
对初创时期的弱小的革命军队来说，为了避免在力量不够的时候同强大的敌人决战，为了求得自身的生存和发展，唯一的办法就是把进军方向转向农村，特别是转向两省或数省交界的山区。从进攻大城市转到向农村进军，这是中国人民革命历史中具有决定意义的新起点。
这个决定，从形式上看似乎是后退，其实是一个突破性的进展。它既符合当时中国的具体情况，也符合马克思列宁主义的基本原则。邓小平一九七八年在谈到中国共产党实事求是的优良传统时说道：列宁曾经领导布尔什维克党在帝国主义世界的薄弱环节俄国搞革命取得胜利，我们中国军阀分割，先到敌人控制薄弱地区搞革命，“这在原则上是相同的”(24)，不过，我们不是先搞城市而是先搞农村。
就在中共前敌委员会作出这个决定的同一天，中共中央根据共产国际驻长沙代表马也尔的报告，又作出要求湖南省委再攻长沙城市的决议。决议指责中央特派员和湖南省委停止长沙暴动和放任株洲、醴陵、平江、浏阳农军退走是“临阵脱逃”；责令湖南省委“应一面命令萍、浏、江一带工农军进攻长沙，一面立即爆发长沙的暴动”。中央这个决议送到湖南时，秋收起义军早已开拔南下，无法执行了。
起义军前敌委员会会议结束，第二天清晨，毛泽东在文家市里仁学校操场上向全师指战员宣布改变行动方向的决定。他满怀信心地说：现代中国革命没有枪杆子不行，有枪杆子才能打倒反动派。这次武装起义受了挫折，算不了什么！胜败乃兵家常事。我们当前力量还小，还不能去攻打敌人重兵把守的大城市，应当先到敌人统治薄弱的农村，去保存力量，发动农民革命。我们现在好比一块小石头，蒋介石反动派好比一口大水缸，但总有一天，我们这块小石头，一定要打烂蒋介石那口大水缸！这个讲话，大大鼓舞了刚刚受到严重挫折的起义军的士气。
当时，南下的路途上也充满险情。在这前后，湖南省国民党当局已调兵到浏阳一带“追剿”；江西当局也派兵到铜鼓、萍乡一带“堵击”。周斓获悉起义军“系全国著名共产党首领毛泽东在主持”后，“立即加派第八军一团车炳谦营长于二十四日全部赴浏阳协剿，一面通令各军，如获毛逆者，赏洋五千元”。这给工农革命军的转移，造成了极大的困难。
起义军在文家市住了两夜，便沿湘赣边界南下。因为湘军战斗力强，赣军战斗力较弱，工农革命军便沿江西一侧前进。这一带都是山区，道路难行，疾病蔓延，还有国民党军队不时围追堵击。毛泽东头戴竹笠，走在战士行列中，同战士交谈，鼓励战士们勇敢向前。