十二师占领长乐西北方高地，暂编第三十四师占领远在后方的魏山镇以南的歌山附近；军部位置在东方山，准备向侧面撤退。日军各路跟踪直进，18日，日军主力推进到诸暨南面和嵊县西南面，向安华街的守军发起攻击。守军顽强抵抗，未能挡住日军疯狂的进攻。日军在第二天占领义乌。
当天，畑俊六视察桐庐、义乌和东阳北方等前线地区，随后返回南京，傍晚在总司令部研究对各路日军的使用。21日，畑俊六命令日军各师团继续向南进攻，占领东阳、武义和建得。
24日晚上，中国军队破坏了金华和兰溪一线的铁路、公路和桥梁。驻守金华的部分守军开始转移。金华县城燃起了熊熊烈火。
内田师团在25日开始攻击金华，酒井师团在同一天进攻兰溪，中国军队在这两地依托既设阵地顽强抵抗，与日军形成对峙。大城户师团及谷川混成旅团从金华以南向汤溪迂回突进，26日攻陷汤溪。守军第四十师主力及暂编第十三师逐次抵抗。同一天，武内俊师团到达兰溪西北。27日，日军攻陷龙游，金华和兰溪的守军更加孤立，于28日放弃这两座城市，向北山转移。
顾祝同按预定计划，保存兵力向衢州集结，加强衢州和玉山等要地的防御。同时，命令撤退到浙赣线两侧山地的守军开展游击战，扰乱日军后方和侧方。他还下令在金华和兰溪附近以及各阵地之间的主要交通线上，埋设大量地雷，阻止日军行动，使日军遭受严重损失。日军第十五师团长酒井直次中将，被地雷炸得血肉横飞，随即毕命。日军损失了高官，更加疯狂，企图给中国守军主力以毁灭性打击。
30日，大城户师团、酒井师团、武内俊师团、井出铁藏的第三十二师团及谷川混成旅团到达灵山镇、寿昌和龙游一线集结，准备向衢州攻击。第三战区按照蒋介石在衢州与日军决战的设想，将主力部署在衢州北、西、南三面，准备围歼进攻衢州的日军。但是，南昌方面的日本第十一军在同一天开始向东推进，顾祝同主力有被日军东西夹攻的危险。蒋介石改变了主意，命令顾祝同避免在衢州与日军决战。顾祝同命令莫与硕第八十六军（欠第七十九师）守备衢州，吸引日军，战区主力避开铁路正面，撤到两侧山地，企图在日军前进时分段截击。
6月3日，酒井师团、大城户师团和井出师团向衢州发起总攻。老天发怒，半夜雷电轰鸣，大雨倾盆，莫与硕军顽强抵抗，只有部分日军渡过乌溪江。日军用橡皮船运渡，被守军击中，完好无损的只剩一艘。莫与硕军与优势日军浴血奋战四昼夜，为战区主力重新部署争取了时间。
泽田茂见衢州久攻不下，想到前一次长沙会战中兵力和补给不继导致被围的教训，心中发慌，向各师团下令：“务必在今日内将该城攻下，时间拖长，有可能导致敌人反抗，我军将重蹈长沙作战之覆辙。”
七日，日军发动总攻，攻陷衢州，莫与硕军向南突出重围。日军三个师团继续西进，11日至14日，接连攻陷江山、玉山、广丰和上饶等地，仍然没有停止西进的步伐。顾祝同认为日军会和长沙会战中一样，很快就放弃新的占领区而撤退，便命令退居信江水南岸地区的丁治磐军、王铁汉军和王耀武军夺回广信和广丰。
中国军队于18日发起反攻，正碰上日军大城户师团和酒井师团将搜索据点推进到信江水南岸地区。两军不期而遇，日军猛烈回击，迫使守军放弃反攻企图。7月1日，大城户师团一部与从南昌东进的阿南第十一军部队会合，联手攻陷横峰。至此，日军已打通浙赣铁路，便转为守势，大肆破坏机场，拆迁铁路，掠夺物资。第三战区主力转移到浙赣铁路南侧的仙霞关和汪二渡一线，其余部队转移到浙赣铁路北侧地区，不断侧击日军，转入持久态势。
在日军主力西进的同时，日军校篞江混成旅团在第一飞行团部分兵力配合下，于6月24日从龙游攻陷丽水，在丽水附近集结。7月2日，校篞江旅团将一个步兵大队和一个山炮兵中队交给高桥辎重兵联队，在丽水接受内田师团指挥。7日，校篞江旅团开始破坏机场和交通，但其主力纵队的前锋，遭到中国守军的抵抗，守军用斜射和侧射，有效地打击了日军。
可是，日军的临时船队，出乎意料地绕到守军背后，利用死角登陆，一次可以运输近一个步兵大队。8日夜，日军在松寮市会合。
日军破坏了丽水机场，于9日进占青田，10日夜在林福以东六公里附近，主力沿瓯江右岸转移，渡河成功。校篞江旅团主力经过天长岭，从西南方进攻温州，当天下午，在温州西南遭到守军阻截，展开激战。日本海军动用两艘驱逐舰和若干扫雷艇，向中国守军猛攻，守军奋勇抵抗，还是无济于事。日军于11日占领温州。日本海军陆战队12日在温州登陆，遭到守军攻击，请求校篞江旅团支援。当天下午，日军组成瑞安支队，向瑞安进发，于13日攻克瑞安，救出了海军陆战队。
阿南惟畿的第十一军，于5月31日从南昌附近沿抚河西岸向南攻击，中国守军第七十五师稍作抵抗后，主力向鹰潭以西的既设阵地转移。日军于当