撤兵。9月8日，撤退完毕。
但是，日本并没有改变其阻挠南军北伐的初衷。9月29日蒋介石访日，除拜访宋家母女，追求宋美龄外，主要目的在于谋求田中内阁对他的北伐给以支持。11月5日，田中与蒋会晤于青山私邸。田中明确地对蒋说，你应巩固长江以南地区，“可不必急于北伐”。又说：“假如长江以南不能统一，其间共产党便会成长，即使一旦摘掉嫩芽，仍会再次发芽生叶。”田中的逻辑是：如果“中国共产主义”发展下去，势必“蔓延”日本，就会危及日本“国体。”蒋回答说，对共产党“非清除不可”，但要求日本不要阻挠中国的统一。这次会晤双方仅就“反共”问题取得一致。田中所提出的“不要急于北伐”，蒋介石没有应允。11月8日，蒋介石应国民党电召离日回国。
1928年1月7日，蒋介石复任国民革命军总司令。他与冯玉祥、阎锡山、李宗仁分别统率4个集团军。4月7日，国民党中央宣布再次北伐。蒋亲自率第五集团军沿津浦铁路北上。张宗昌抵御不力，南军于10日克台儿庄，22日打下泰安，逼近济南。
当时日本驻济南的武官，就是那个在上海领事馆任内曾被冈村训斥过的酒井隆，他的军衔已被晋升为陆军少佐。4月16日，酒井隆将济南一带的战况详细报告给国内，同时请求出兵。陆相白川义则和参谋总长铃木庄六认为“时机适宜”，应立即出兵。19日，田中内阁以“就地保护侨民”为借口，决定第二次出兵山东，派遣驻熊本的第6师团一部5000人在青岛登陆，经青岛开往胶济铁路沿线要地。实质上日军接到的是命令对青岛和胶济铁路沿线实行军事占领。为了抢先控制济南，东京命令驻天津的3个步兵中队赶赴济南。4月20日晚，该部队侵入济南。21日，南京国民政府对日提出了严重抗议。
30日夜，张宗昌军北逃。南军于5月1日平静地开进济南。2日上午，蒋介石进驻省督办公署。2个半小时后，日本陆军中将福田彦助率增援部队接踵而至。日军在市内设置铁丝网，堆砌沙包，构筑工事，并擅自划定东西两个“警戒区”，禁止中国军民通行。这样，济南出现了日本侵略军与中国军队对峙的局面。
蒋介石希望日本人能够罢手。他在5月2日的日记中写道：“不屈何以能伸，不予何以能取，犯而不校，圣贤所尚；小不忍则乱大谋，圣贤所戒。慎之，勉之。”他一面电示抵日秘密联络的张群：“请以公私之关系，要求其克日撤兵。”一面通过浪人恼信夫疏通，允以负担日方军费为条件，劝侵济南日军先撤回青岛。
可是，日军早有预谋要制造事端。5月3日早上8时，日本代理总领事西田寰一，驻济武官酒井隆和天津驻屯军小泉恭次中佐一行拜会蒋介石，声称：中国军队进入济南，“军纪风纪都很好，很守秩序”，我军今天就要撤离济南，特来辞行。但当他们离开总司令部不久，日本军队就发起了进攻。开始，一名徒手中国士兵途经日军擅自圈划的“警戒区”，日军将其击毙。同时，南军宣传员在街上张贴标语，日军出来干预。双方争执中，日军即开始射击。使济南商埠街头一时死伤枕藉。10点以后，日军架大炮轰击中国军队驻地，第40军贺耀祖部被迫还击。在交火中，1个团被日军包围缴械。下午，日军攻占邮政局、电报局。日本侨民中的“在乡军人会”成员，配合日军在街头大肆搜查、捕杀打散的中国官兵，洗劫中国商店，滥杀和平居民。在“五三”这一天，被日本侵略者野蛮屠杀的中国军民在1000人以上。
尤其令人发指的是：日军践踏国际法准则，惨杀了中国战地政务委员会外交处长、山东特派交涉员蔡公时等。3日深夜，木庭大尉率日军包围了山东交涉署，冲入搜查。蔡公时用日语抗议：“我们是外交人员，这里是非战斗单位，不许搜查。”日军将蔡捆绑起来，用刺刀逼他跪下。蔡公时不屈，日军竟割下蔡的耳鼻，剥光衣服，肆意侮辱，终将蔡公时杀害，其下属17人尽被枪杀。侵略者还毁尸灭迹，交涉署仅有1人侥幸逃出虎口。
面对日军制造的济南惨案，蒋介石采取了退让方针。他下令中国军队“不准还枪”。3日深夜，蒋派高级参谋熊式辉与日军参谋长黑田周一交涉，中国军队主力退出济南商埠地区。
然而，日军并不肯罢手。他们一面肆意颠倒是非，反诬中国军队抢劫和杀害了日本侨民，为进一步扩大侵华制造借口；一面继续向济南增兵。福田彦助中将向东京报告，诬称中国士兵抢劫了经销《满洲日报》的日本商人，日军“护卫”侨民，才引起武力冲突。酒井隆在向陆军省汇报日人死伤情况时，竟把在战火燃起之后13名日本人死亡夸大为“济南有300多名日本侨民惨遭杀害”。东京《时事新报》在头版刊登了陆军省发布的这条捏造的新闻，肆意煽动。福田向军部谎称：南军在济南附近有4万人，“对我方所怀恶意逐渐增长”。他认为：“目前正是日本对南方进行断然惩处，以进一步解决中国问题之良机。”于是，田中内阁决定从关东军抽调第28旅团增兵济南。陆军持强硬态度，参谋本部、陆军省共同拟定《对华