耀武指挥中国军队发起总攻，武阳附近各要点相继被夺回，关根久太郎率残部向花园市方向逃窜，途中又屡遭中国军堵截，大部被歼。
芷江陆军总部。5月6日，何应钦向前来采访的中外记者宣布：“武阳之捷开湘西战役胜利之先声。”
再说湘西之南的武阳一线打得难解难分之时，作为主攻部队的日第116师团也在湘西中部遇上了麻烦。
一路长驱直入的第116师团，攻抵洞口镇附近时，出乎意料遭到了中国军队的顽强抵抗。洞口镇地处公路线上，是通往安江、进达芷江必经之隘路。中国军19师第57团驻守此地，他们利用极险峻的地形，把阵地如货架子一样层层构筑在山梁上，并设有掩盖枪位的鹿砦，而且阵地的前方是广阔的水田，视野很宽，轻重武器交叉射击，组成极浓密的火网，给日军的攻击造成了极大障碍。
岩永汪师团长使用“特攻队战术”，虽然占领了守军第57团阵地，但随即陷入前来增援的数师中国军队的包围之中。5月1日，从芷江机场起飞的美军飞机对该师团各联队驻地实施轰炸，抛下的大量炸弹将日军炸得人仰马翻，第109联队3000余官兵几乎被全歼，第133联队也遭美机低空扫射，死伤累累。同时，由于攻击路线拉长，陆上有中国军队阻断、天上有美空军封锁，岩永汪缺粮少弹，各部队为节省弹药不得不在上查坪、圭洞和洞口一带止步，一面就地赶修简易防空工事，一面请求军司令部同意撤退……
湘西的北部战场。战役之初，日第47师团重广支队为策应第116师团西进，经邵阳向新化、洋溪方面进攻。一路上遇到的麻烦较少，连资水渡河作战，也出乎重广的意料，以很小的损失而结束。坂西一良的设想是：先攻占新化、淑浦、辰溪一线要地，稳固湘西北地区，然后配合116师团在沅水以东、资水以西地区，寻歼中国军。为此，他将其第86混成旅团也放在这一线，从邵阳西进。
重广支队在洋溪附近遭中国第73军的有力抵抗，并于4月底被该军包围于红岭山。在中美空军的轰炸扫射下，该支队只有招架之功，无还手之力。日第86混成旅团在小溪、猪栏门等处渡河时，恰逢河水暴涨，乘竹筏至河中心时，遭美机轰炸，伤亡惨重，勉强抢渡过去的若干联队，也形不成攻击的拳头。
进攻芷江的各路日军相继受挫的消息传到南京，冈村把这些归罪于冈部直三郎指挥不力。冈部一直对此战心存疑窦，不尽心尽力去干，据说他成天沉湎于文物搜集、吟诗作画，很少过问前线战事，让军司令官坂西一郎独撑危局。冈村认为冈部此举是存心想看他的笑话。
冈村叫来派遣军总参谋长小林浅三郎中将：“小林君，我本想亲自去一趟湘西前线，实在分不开身，请你辛苦一趟吧。”
小林自然没二话可说：“愿为司令官效劳。”
5月初，小林抵达汉口。一见面，冈部便要求他转告冈村，必须中止芷江作战。理由是：1．日军在没有任何空中保障的情况下，只能是美机的靶子；2．中国最精锐的新6军廖耀湘部已陆续从印度空运到芷江，即使打到芷江城下，已成强弩之末的攻击部队也无法击败这个军；3．若继续作战，请冈村总司令官增加2—3个师团兵力。周时，冈部还向小林介绍，可怕的“失败主义情绪”已在湘西前线明显地表露出来，官兵中自杀和被俘的人数日益增多，这说明士兵对战争越来越失去信心，甚至在前线第133联队内公然出现了反战标语。
小林浅三郎答应回去后如实向总司令官报告。
5月6日，小林总参谋长回到南京。冈村在听取他的汇报时，有点心绪不宁。小林先将此行了解的情况大概介绍了一下，又说了自己的一些观感，然后向冈村提议：
“最后中止芷江作战！”
见冈村沉默不语，小林告诉他：冈部司令官早有此意，且坂西一郎也改变了继续西进的意见，事实上已中止了向芷江突进的行动。
谈到冈部，冈村的眉毛便不由自主地跳动了几下。特别是当小林讲到冈部“宁可自己负责也要中止这次作战”的态度时，冈村似乎看到了冈部那张倨傲清高的脸。
也许他是对的吧！冈村不是那种明知输了，也不承认输的人。他认为武士道的可贵之处还有敢于承认失败的一面。
小林似乎看出了总司令官内心的隐秘，不愿再从心理上给他施加压力，而是讲了些一线部队如何英勇作战，如何艰苦卓越之类的事。
“请你拟定一份中止芷江作战，适时回到原来态势的命令吧。”冈村终于同意了部下们的建议。
日晕而风，础润而雨。冈村已明显地感觉到日本已接近于山穷水尽的地步了。他本想以扩大中国西部战事的办法，来牵制盟国力量，但没料到事与愿违，造成了这种结局。
冈部直三郎是5月9日接到派遣军总司令部关于中止芷江作战的命令的。实际上，其第20军的一些部队从5月5日起，就已开始脱离战线，做后撤的准备。
第116师团7日晨开始撤退。从