反抗的烽火很快也燃遍了辽、吉、黑3省。以东北军官兵为主体，有工人、农民、知识分子以及地方民团、保安队、警察、民间秘密结社、绿林武装等各阶层群众参加组成的各种名目的义勇军风起云涌，对入侵之敌展开了英勇的斗争。当时的情况大致如下：
辽宁：1931年10月以后，辽宁各地抗日义勇军陆续建立起来。辽南有邓铁梅的东北民众自卫军，李纯华、项青山的辽南救国军。辽东有唐聚伍、郭景珊的辽宁民众自卫军。辽西有郑桂林、耿继周、苏景阳的东北民众自卫义勇军。辽北有辽北蒙边宣抚专员高文斌组织的抗日武装。这些义勇军的主要成员多是留在关外的东北军和地方警政人员。由流亡在北平的东北各界人士组成的东北民众抗日救国会，向关外派出许多政治、军事骨干，而李纯华、项青山、郑桂林、耿继周、苏景阳等部义勇军都接受该会的领导。在张学良的秘密授意下，原东北政权所属的部分武装也奋起抗日，如辽宁省警务处长兼奉天市警察局长黄显声所部、奉天市公安督察长熊飞率领的骑兵总队等等。地方民团也有积极抗日的，其中最著名的是锦西的联庄会。1931年秋冬季节，日军进攻重点在吉、黑两省，辽宁省义勇军的队伍乘机迅速扩大，声势大振。
吉林：吉林省的义勇军是在旧政权主要首脑降日后，军队中爱国官兵自发抵抗日军进犯的形势下成立的。1932年1月，在哈尔滨保卫战前建立的吉林自卫军，即是由依兰镇守使李杜、吉林副司令长官公署卫队团团长冯占海、驻守哈尔滨的丁超旅和邢占清旅，以及驻守双城的赵毅旅等爱国官兵组成。2月，吉林步兵第27旅营长王德林等在延吉成立中国国民救国军，延吉、珲春、和龙、汪清等县的警察队、保安队官兵以及红枪会等民间秘密结社，也纷纷加入。不到半年时间，救国军发展到数万人之众。
黑龙江：在东北各地的抗日武装中，黑龙江的义勇军是经过一段时间的徘徊观望后才成立的。在“九一八事变”初期，马占山率爱国将士江桥抗战，曾给进犯日军以沉重的打击；但在马占山降日后，黑省的抗战声浪很快沉寂下来。及至马占山重新抗日，部队的实力已大不如前。1932年10月，呼伦贝尔警备司令兼中东路哈满护路军司令、第2旅旅长苏炳文和护路军副司令兼第卫旅旅长张殿九等率部组成东北民众救国军，抗日斗争再度高涨起来。
东北义勇军成立初期，爱国旧军人和知识分子发挥了先锋、骨干作用。后来，大量农民加入了抗日队伍；不少民间秘密组织如大刀会、红枪会等以及某些绿林武装也卷人了抗日的洪流中来。到1932年4月，即伪满洲国建立之初，估计东三省义勇军的总数已发展到30万人以上。
义勇军兴起后，对东北各处日军展开了英勇顽强的战斗，1932年夏秋季节形成抗日斗争的高潮。据不完全统计，这一年义勇军袭击辽、吉两省重要城市30次，其中袭击奉天11次，袭击长春6次，烧毁了奉天和哈尔滨的飞机场，破坏了抚顺的日本发电所。辽宁的义勇军乘日军进攻北满，南满兵力空虚之机，控制了省内多数县城，日军被迫龟缩在铁路沿线的县市。关东军承认“确有16个县处于抗日势力控制之下”，“沈海、营口线铁路不通，满铁本线屡遭袭击，夜间运行处于极其危险的状态”。吉林义勇军冯占海部于4月收复方正，5月攻克宾县，7月再克榆树，打死打伤不少敌人。据日伪方面统计，1932年夏，吉林参加武装抗日的人数多达十几万人，抗日活动遍及18个县区。
冈村宁次于1932年夏秋之交来关东军上任，正是东北义勇军势力的高涨时期。他通过对东北各地的实地考察、巡视，感到解决所谓治安问题是首要任务。为此，冈村一方面给军部打报告，要求从国内增派援军；一方面通过伪满政权加强所谓“法制”建设和地方武装建设。1932年9月，日伪统治者发布了由冈村等人参与炮制的《治安警察法》，11月又颁行《暂行惩治叛徒法》和《暂行惩治盗匪法》，把义勇军污蔑为“叛徒”、“盗匪”，可以格杀勿论。9月末，关东军司令部指示成立由伪满国务总理任委员长，军政部、民政部为主体的清乡委员会，在各省、县设立由日伪军政头目组成的地方清乡委员会。它们在各地网罗汉奸走狗，拼凑民团组织，进行各种反动宣传和破坏活动。不久，日军混成第14旅团和骑兵第4旅团分别于10月和12月先后增援到东北，增强了关东军的实力。日本关东军准备就绪后，武藤信义大将下令，由小矶和冈村具体负责指挥，向义勇军发动了空前规模的大扫荡。
其实，至1932年底，整个关东军的人马不足5万，它的强悍，主要在于军队的素质。关东军以区区几万人马，要向散布于东北广大地区的20多万抗日义勇军发动扫荡，谈何容易？冈村宁次带着斋藤弥平太大性和远藤三郎少佐等几个司令部高参，整日关在作战室里埋头搞扫荡计划，并提出了“步步为营，重点突破”的作战方针。
日军进攻的矛头，首先指向活跃在辽宁东边道的以唐聚伍为总司令的辽宁民众自卫军。9月12日，关东军以第1