在回民支队与群众一起度过的艰难岁月里，马本斋消瘦了，眼窝深陷，颧骨高耸。他带头勒紧裤带，缩减口粮接济村民，自己有时一天只吃一小碗黑豆，或者吃半斤榨过油的花生饼。战士们关心司令员，行军休息时给他挖了些马齿苋，被他送给了最困难的老乡。
部队要行军，司令员要指挥作战，生活又如此艰苦，马本斋的身体一天不如一天。他得了一种重病——疗毒，中医叫“砍头疮”。鲁西北缺医少药，在没有麻醉药的情况下，医生为他动了手术。但疮毒已经扩散。他高烧不退，后来又转成肺炎，处于半昏迷状态。
这时，党中央来电问候马本斋，并调回民支队去延安接受重任。在部队出发前的动员大会上，马本斋挣扎着来到会场，竭尽全力说道：“同志们！你们马上就要动身去革命圣地延安了。听说有人不愿意马上走，要跟我一起走。同志们想我，我也想同志们，但不能感情用事。你们不是跟着我马本斋个人干革命，而是要跟着党，跟着毛主席。你们前面走，我很快就会跟上你们，咱们延安见！”
1944年1月底，回民支队奉命奔赴陕甘宁边区，部队离开心爱的首长默默地出发。马本斋坐在油灯下，艰难地写着他写了多年的《战斗札记》。
鞍马劳顿，操劳过度，他病情加重，处于昏迷状态。冀鲁豫军区派一个连的兵力护送他去医院，途中，他醒来了，看到用一个连送他一个人，心里很不安，坚持只让留下一个班，叫其余战士赶快归队。
这年二月，在一个寒冷的黎明时分，马本斋手握钢笔，半坐在床上，腿上摊着那本《战斗札记》，悄悄告别了他深爱着的回民支队。铁骨铮铮、赤胆忠心的马本斋，享年四十二岁。
马本斋带领回民支队进行大小战斗八百七十多次，歼灭日伪军三万六千多人。回民支队是全国影响较大的一支回民抗日队伍，也是八路军冀中军区主力部队之一。
中共中央为马本斋举行了追悼会，毛泽东题写了“马本斋同志不朽”的挽词。当地人民怀着对这位民族英雄的崇敬心情，献出十亩良田，在莘县张鲁为马本斋建了陵园。
在同一年里，八路军失去了马本斋，新四军失去了彭雪枫。皖南事变后，彭雪枫率领新四军第四师坚持在淮北敌后抗战。他率领第四师西进，取得一系列胜利。9月中旬，日军向第四师大举“扫荡”，他们转战于萧县、宿县、永城和夏邑之间，猛烈打击日军。彭雪枫在9月11日夏邑八里庄的战斗中不幸牺牲。陈毅写了八首《哭彭雪枫同志》，其中的一首哭道：“雄气压陇海，英风断淮河。荣哀何有尽，万众泪滂沱。”
中共中央军委任命张爱萍继任第四师师长，韦国清任副师长。
1944年，日军处境维艰，由于战线拉长，使得日军减轻了对敌后战场的压力，为抗日根据地军民转入对日局部反攻造成有利条件。
根据国际形势的发展和中日战争形势的变化，中共中央确定1944年的斗争方针是：继续团结国民党共同抗日，集中力量打击日伪军，巩固和扩大抗日根据地。这一年，中共领导下的敌后军民在华北、华中和华南地区，对日伪军普遍发起局部反攻。由于敌强我弱的形势还没有发生根本转变，这些局部反攻是以集中适当的兵力作战与分散的群众性游击战争相结合、军事攻势与政治攻势相结合进行的。
6月5日，中共中央发出《关于城市工作的指示》，强调夺取城市的重要性，要求各局和各省委同样重视城市工作与根据地工作，高度重视争取敌占一切大中小城市与交通要道及准备群众武装起义的工作，争取取得显著成绩，在时机成熟时，夺取在中共军队及根据地附近的一切敌占城市与交通要道。
晋西北军民在1944年春季攻势中开辟了新的游击根据地，收复了普格寨等多处日军据点。在秋季攻势中，他们以忻县静乐公路、离石岚县公路、静乐宁武公路为重点，进攻静乐交城忻县等地区的日伪军，毙伤九百多人，俘虏一千多人，收复七百七十多平方公里的土地。这年晋西北根据地军民共解放人口四十多万。同时，大青山解放区军民也积极开展游击战，绥西绥南区也恢复到1942年以前的局面。
山东军民先后对鲁中、渤海、滨海、胶东发动攻势，打通了沂山、鲁山、泰山、蒙山各山区间的联系，控制了诸城日照公路大部分及海州青岛公路和诸城胶县公路各一段，巩固和发展了胶东和渤海的联系，使滨海和鲁中连成一片，并解放了利津、沂水、乐陵、临邑、南皮、莒县等县城。山东根据地军民在这一年中共进行较大战役十五次，歼灭日伪军近六万，攻克县城两百多处，解放人口九百三十多万人，形成了渤海、胶东、鲁中、鲁南和滨海五个巩固的根据地。
北岳区军民围攻涞源地区的日伪军，袭入灵丘定襄两县城以及忻口车站，攻克日军据点、碉堡四百多处，恢复和解放村镇一千六百多个，解放人口八十多万。冀中区军民攻克定县的怀德、饶县的官厅和高阳的旧城，解放了肃宁县全境，袭入天津市，攻克日军据点八百多处，解放村镇三千八百多个，