激战七天，日军伤亡在八千人左右，守军减员三千人以上，阵地经过反复争夺，防御工事多数遭到破坏，下一步防守增加了难度。30日，日军向张家山发起更为猛烈的进攻，徐声先率领第二营接防后，部队伤亡已达百分之七十以上。徐声先身先士卒，大呼：“弟兄们，杀啊，守住张家山就是守住衡阳！”徐声先和部属没来得及赶走日军，已全部阵亡。在徐声先阵亡的前两天，军部上尉参谋陆金城写信问候他，告诉他军部已在为他请功，望他继续杀敌，争取更高级的勋章。徐声先在阵地上匆匆写了几句话回复：“我不是为勋章而战，我倒要在此枪林弹雨之中，衡量一下日本这个将落的太阳。”
横山勇做梦也没有想到，他原来以为一天之内便可踏平衡阳，结果动用了两个师团四万多人的大军，苦战两周，死伤近半，连衡阳城的大门都没有看到。日军部队大量减员，粮食弹药只有四天的储备，后方运输线时通时断，供给难以保证，横山勇只好将全面进攻改为骚扰式的重点进攻，多数建制部队整补待援，准备第二次总攻。
7月11日清晨，沉寂的大地突然开始痉挛，日军阵地蹿起一道道蓝影，在晨光中飞旋着，扑向中国守军的阵地，溅起一团团火光，空气中充斥着连珠般的爆响和炮弹的尖啸。大炮响过，日军第五航空军主力飞临衡阳上空，两个轰炸机大队在一个战斗机飞行团掩护下，对市区和城西山头的阵地反复轰炸和扫射。近十个小时多梯次的轮番轰炸，几乎全部摧毁了守军外围阵地上的据点、工事和战壕，炸断了城内每一条有线通讯，守军司令部与各师、各团及前沿阵地失去了联络，各部队之间，哪怕近在咫尺，也只能靠传令兵来回联络。方先觉下令抢修通讯系统，冒着炮火上前沿巡视督战。黄昏降临时，日军已经向守军阵地压过来。
两军连续拼杀五昼夜，伤亡都很惨重。日军终于撞开了张家山与虎形巢这两扇大门。这场攻防战，进入了守军极其艰难的相持阶段。第十军弹药匮乏，粮食短缺，缺医少药，痛苦和死亡在考验着这支军队。
第十军内缺补给、外无援兵，与多出近三倍兵力的两个日军主力师团和部分配属部队，奋战了一个多月，已是精疲力竭，如果再无援兵，日军就会打进城了。方先觉和副手们每夜站在中央银行防空洞上面，希望听到城外援军与日军交锋的枪声。蒋介石、薛岳和李玉堂，在衡阳守军最艰苦的时日，几乎每天都在向方先觉许诺：援军马上就到，很快就会解围。但是，守军只听雷响，不见雨来。几十天过去了，连个援军的影子都没看到。
援军的行动实在是过于迟缓。王耀武集团军施中诚军的主力长时间滞留在常德，而从广西抽调出来的黎行恕军主力，直到会战进入尾声才到达战场，临到紧要关头全部西撤，被日军各个击破。王甲本军按照蒋介石的命令接防衡阳近郊，意在迟延日军向西南进攻的脚步。王甲本指挥第七十九军撤退，在白地市近郊遭遇日军，寡不敌众，王甲本本人空手搏白刃，血洒荒岭。
总之，第十军战斗到最后一刻，也没把援军盼到衡阳城下。
参与衡阳会战的日军，辜负了东条政权的期望，小小的一座衡阳城，胶滞住几十万一贯自以为无坚不摧、无往不胜的“大日本皇军”的脚步，而日军在太平洋战场又连连失利，东条英机深感挽救颓势无望，国内主战派责备他无能，反战派指责他疯狂，各种力量迫使东条内阁下台。
8月4日，横山勇指挥日军发起第三次总攻。
日军的轰炸机，一批接一批出动，对衡阳市区和城郊尚存的守军阵地，实施地毯式轰炸，一直延续到第二天拂晓。衡阳城像汪洋中的一艘破船，在炮声、炸弹的爆炸声中震颤，摇晃，颠簸。
日军各路部队在惊天动地的喊叫声中，向守军阵地发起攻击。除江防及蒸水方面外，守军阵地的每一区域都遭到日军自杀似的冲锋。守军许多官兵被日军炮火埋葬了，侥幸没被炸死的，没被铺天盖地的土石烟尘深埋的，待日军炮火一停，马上掀掉身上的泥土，继续用手榴弹和刺刀反击日军。
横山勇沉不住气了。这么猛烈的炮火和占压倒优势的兵力，又打了两天多，依然解决不了城外围的守军，他哪里还装得出温尔文雅的风度？他依次摇通每个师团的电话，找到师团长，只说一句话，就挂断电话，去找另一个。他的话很简单，很多中国孩子都会讲，就是日军常说的一句粗话：“八嗄牙路！”骂完了，他扔下电话，喘着粗气。
这句话像鞭子，抽得整个前沿阵地的日军像陀螺一般更加急速地旋转起来。
8月5日，日军对守军进行自杀式攻击。中国军队的几十万援军还是一个泡影。方先觉在指挥会议上“放声大哭”。第二天，日军从衡阳西北郊区突入城内，第十军弹尽粮绝，外援无望，与日军巷战，不断击退日军的进攻。战到8日清晨，方先觉对身边的人说：“你们已陪我尽到最大责任，你们各自想办法寻生路去吧，我就死在这里了。”说罢掏抢，而枪已被身旁人取走，方先觉向卫士要枪，卫士不给。方先觉下令全军放下武器，率下属各师长出城向日