１938年春天，新四军军部成立不久，中共中央指示新四军迅速挺进敌后，开辟敌后战场，创建以茅山为中心的苏南根据地。4月下旬，军部派粟裕率领新四军先遣支队从安徽南部驻地岩寺出发，向江苏南部敌后挺进，揭开了新四军创建华中抗日根据地的序幕。陈毅抽调两个连队加强粟裕的先遣支队，同时命令第一支队第二团的两个营在镇江至下蜀一带活动，及时策应粟裕。
4月底，高敬亭率领第四支队从安徽西部的驻地霍山出发，向东推进到安徽中部的舒城、桐城、庐江和无为地区，开展抗日游击战争。5月，陈毅和张鼎丞分别率领新四军第一支队和第二支队进入江苏南部。
6月，第三战区司令长官顾祝同，命令新四军先遣支队破坏镇江到下蜀之间的铁路，牵制日军会攻武汉。粟裕发现，镇江至句容的公路上，日军汽车往来频繁，便决定在镇江西南十五公里处的韦岗设伏。
17日早晨，镇江的日军三十多人乘汽车向句容行驶，开到韦岗附近，突然，新四军的子弹和手榴弹，暴风雨般地落在日军汽车上，日军几乎没有还手的机会。战斗只进行了半个小时，击毙日军土井少佐以下二十多人，击毁四辆军车。镇江的日军赶来增援时，粟裕已率领部队转移。
韦岗一仗，新四军缴获长短枪十多支，日币七千五百多元，还有其他军用品。部队把缴获的日本国旗、日军军旗、日军指挥刀、军大衣、钢盔、皮鞋和望远镜等物品，放在一座祠堂里展出，远近民众赶来参观，新四军打胜仗的消息很快传遍全中国。
陈毅爱作诗，为首战告捷赋诗一首：
弯弓射日到江南，终夜喧呼敌胆寒。镇江城下初遭遇，脱手斩得小楼兰。
随后，第一支队和第二支队在镇江、句容、丹阳和江阴、溧水等地区展开，开辟了以茅山为中心的苏南根据地。
6月中旬，日军占领舒城和桐城县城，打通了合肥到安庆的公路。第四支队活跃在合肥到六安公路的两侧，连续袭击日军的后勤供应，打击伪政权。
据抗战军人回忆，在抗战初期，战场上很难俘获日本军人。日本兵认为当俘虏是莫大的耻辱。他们气焰凶顽，又听不懂中国话，一些新四军战士发挥人道主义，却被垂死的日本兵杀伤。
有一次，一名新四军电话员在公路上查线路，看见一辆汽车旁躺着一名即将死去的日本兵，跑过去大喊一声：“缴枪不杀，优待俘虏。”谁知日本兵扬手一刀，刺进电话员的胸部。
一名新四军战士想把负重伤的日本兵背回来，日本兵苏醒过来时，把他的一只耳朵咬掉了。
不过，新四军还是抓到了日本战俘。韦岗伏击战结束十天后，陈毅指挥第二团第二营在竹子岗伏击了日军一个车队，抓了一名日军俘虏，名叫管明弦政南，是日本华中派遣军特务机关黎明公司的经理。
两战两捷，新四军士气高昂。夏天，新四军第一支队和第二支队在苏南展开破袭战，得悉宁沪铁路线上镇江与丹阳之间的新丰车站，只有日军一个小队约四十多人守备，而且警戒松弛。陈毅命令第一支队抓住时机袭击新丰车站。
7月1日深夜，第二团第一营派一个连的兵力在车站附近警戒，掩护民众破路，另一个连担任预备队，准备打击援敌。担任突击任务的一个连悄悄地将驻守车站的日军团团围住，突然攻击。日军仓皇抵抗，十几名日军冲出房屋，企图突围，当即被击毙。其余日军在屋内抵抗。眼看日军援兵就要赶到，新四军采用火攻，烧毁了新丰车站的三层大楼，将三十多名日军烧死。同时，地方武装和民众拆除了铁轨，割断了电线，使宁沪铁路一度瘫痪。
同一个月，张云逸和谭震林率领第三支队从岩寺推进到安徽南部的沿江地区对敌作战。
9月3日，日军运输队从安庆驶向桐城，共有八十多辆汽车，载着两百多名步兵和一批军用物资。新四军第四支队特务营和第七团第三营埋伏在公路旁的棋盘岭，准备打击这个日军车队。
上午9点钟左右，两辆日军汽车率先驶入棋盘岭伏击区，新四军战士突然甩出手榴弹，将它们炸毁。日军车队接踵而至，被新四军压制在长达五公里的公路上。新四军勇猛出击，激战半小时，炸毁日军汽车五十多辆，歼灭日军七十多人。
10月份，彭雪枫率领新四军游击支队从驻地河南确山县竹沟出发，向河南东部敌后挺进，开辟了豫皖苏边抗日根据地。到1938年底，新四军各部都已相继挺进敌后，互相协同，开辟了华中敌后战场，初步打开了苏南、皖南、皖中和豫皖苏边等地敌后抗战的局面。
战场上捷报频传，在新四军军部，叶挺以他鲜明的个性，活跃了战时的气氛。这位军长服装整洁，仪表堂堂，总爱骑马到各支队去，还带着一些随行人员。外出巡访或集合，叶挺总要带上他那架德国造的照相机，拍些精彩的照片。此外，他跟各方面的朋友频繁地交往。
美国女记者史沫特莱到皖南采访时，叶挺特地让军医处长沈其霞把她接到军部。史沫特莱想看看新四军的“竹子医院