1928年4月，国民党开始第二次“北伐”。蒋介石所率北伐军节节胜利，很快就攻入了山东。日本驻济武官酒井隆为了阻止北伐军继续北进，他立即以“山东局势混乱、保护日本侨民利益”为借口，写信给日本陆军参谋总长，要求军部出兵山东。日军参谋本部根据酒井隆的报告和请求，借口保护侨民，于4月下旬，派遣日军第六师团五千余人从青岛登陆，入侵山东。日军第六师团在青岛成功登陆后，星夜兼程，终于在4月底赶到济南城外。

4月21日，日本军国主义者借保护侨民之名，派遣驻天津的3个步兵中队抵济南。25日至27日，日军又连续在青岛登陆，沿胶济铁路运兵济南市，到28日，驻济日军已达3000余人。日军在济南商埠以纬四路为中心线，划为东西两个“警备区”，构筑工事，架设路障，实施戒严。

4月30日，北伐军迫近济南郊区，奉系军阀张宗昌及其所部渡河北逃。5月1日，北伐军进入济南，方振武被任命为济南卫戍司令。当蒋介石所率北伐军开进济南城后，酒井隆即唆使早已做好准备的日军四处寻衅。日军随意捕捉北伐军的士兵。5月2日上午，第一军第二十三团营长阮济民等数人徒手行经纬五路时，被日军堵截后当场全部杀害。蒋介石命令北伐军各部“约束士兵，不准开枪还击”。而且准备“绕道北伐”，这更加助长了日军的嚣张气焰。

日军蓄意挑衅，与北伐军发生冲突。5月3日上午9时，北伐军宣传员做街头宣传时，被日军开枪射击，当场打死打伤多人。日本军队向靠其驻扎的国民党第四十军第三师第七团的两个营发动攻击，突遭袭击，使两个营完全丧失抵抗能力，损失惨重。日军强行占领邮电局、电报局等要害部门，炸毁电台，大肆屠杀中国士兵及市民，日军所到之处，凡遇中国人，不分男女老幼，不论是兵是民，一律开枪射击。日军还随意闯入民宅，强奸妇女，抓走并杀害居民。日军又开炮轰炸商埠，房屋被炸裂焚烧，一时枪炮声四起，马路上血肉横飞、尸体满街。枪炮声、呻吟声、哭喊声响成一片。

5月3日，日军还将国民党交涉署包围，强行收缴交涉署枪械。晚9时，又将战地政务委员会外交处主任兼特派山东交涉员蔡公时及署内职员共18人捆绑起来毒打。蔡公时据理向日军提出抗议，怒斥日军暴行，竟被日军残无人道地将其耳鼻割去，继又挖去舌头眼睛。然后将18人剥光衣服，鞭打后用机枪扫射，除一人侥幸逃出外，蔡公时等17人惨遭杀害。从5月3日夜开始，日军大举出动以搜索北伐军和便衣队为名，沿街洗劫，疯狂屠杀中国军民。

5月4日晨，北伐军在济南城抓获13名走私鸦片的日本毒贩，按照中国法律将他们处死。酒井隆借机再次给陆军省和参谋本部拍电报，夸大事实，宣称日本无辜侨民被杀害，并将数目扩大了20多倍。国民党军全部撤出商埠区。日军得寸进尺，继续扩大事态，不断增兵济南。5月5日，除李延年、邓殷藩两团留守济南外，其余国民党军队全部撤出济南。

5月7日，日方向蒋介石发出最后通碟：（一）惩办华方反日高级将领;（二）立即解除济南方面华军的全部武装;（三）维护中日亲善邦交，禁止华方反日、排日及有伤两国睦谊的一切宣传活动;（四）胶济铁路沿线两侧与济南城关商埠在20华里以内，不准中国军队驻扎;（五）立即将辛庄、张庄兵营全部让出，作为缓冲，便于严密监视华军行动，并观察华方有无和平诚意。

5月8日，不待国民党的正式答复，日军开始向蒋军进攻。9日，对济南城发动了总攻。日军以猛烈的炮火轰炸南圩子门、杆石桥、林祥门、普利门等各地。当夜，国民党守军不得不退入城内，日军跟踪前进，并在顺河街、西城根各街放火，特别是西城根的一条街，房屋全被焚烧。这条街上的居民被烧死、被强奸投河自杀的，无一幸存。事后，济南人民为纪念国耻，抗议帝国主义的侵略罪行，1929年5月，这条街改名为“五三街”。

在“五三惨案”中，日本侵略军丧尽天良，疯狂残杀我国军民，其罪行累累，罄竹难书。5月7日，商埠六大马路东口李子清家，有百余名难民在内避难，11时，一队日军冲进大门，用刺刀刺杀13人，将尸体运走。5月10日，角楼赵家庄，日军挨户搜查，见青年或穿草鞋者，不是刺死就是枪毙。遇难者有李明海，崔姓兄弟2人，13岁儿童王小子等，还有22人被日军活埋。5月11日，西关江家池陆军医院内收容蒋军伤员、病号约百余人，日军进入，挨屋杀人，医生、护士均被刺死，每人身上致少被刺l0刀，共杀死82人。