1926年，张作霖受日本人怂恿进犯北京，他在那里统治了两年。在这期间，国民革命军的势力已遍布全中国。在强有力的领导之下——最初是共产党，后来是蒋介石将军的势力达到了济南。在济南，蒋氏的军队，遭遇了占据胶济铁路的日军的攻击。日军在济南制造了惨绝人寰的济南惨案。但这时的张作霖将军着急想回满洲了，留守东三省的张氏挚友吴俊升将军，也催促他回去。
1928年5月19日，驻北京的日本大使警告张氏勿回满洲，但张氏还是毅然踏上了回沈阳的列车。
5月31日，张作霖将军的东京特派员司温哈特紧急警告张氏万勿搭火车回沈阳，因为他已得到情报，张氏将在路上遭遇暗杀。但张氏对此谣传并不相信，并将这话告诉了日军司令部的一个官佐。那人笑着回答说，为了证明此行绝无危险，他本人可与将军一路同坐一节车到沈阳去。
他们搭的是6月2日午夜从北京开出的一班车，我也在那车上，但我自己因为要在天津调查某项问题，所以到了那里便下车了。日军当局请吴俊升将军在6月4日那天到沈阳车站南20公里外的地方去迎接张作霖。吴氏偕同几个幕僚准时去了，他接到张作霖，就和张作霖同车回沈阳来。火车将到沈阳前十分钟，那个同车的日本官佐站起身来，说要到隔壁房里去佩好戎装军帽（事后查明，他是跑到最后一节车厢里去了）。几分钟后，当火车穿过一座桥洞时，火车突然间爆炸，这辆搭着张作霖和半路上车的吴俊升将军的火车被炸毁了，死了17个人。张作霖将军受了重伤，几小时后也死了。
日军是暗杀张氏的幕后操纵者，这是毫无疑问的。放置炸药的那座桥本来是中国士兵把守的，但在几天前却被日本兵接替了。
张作霖将军死了，他的儿子张学良承继了父亲的地位，但他同情新中国革命，始终不听那位满洲军参谋长杨宇霆的劝告，而主张直接反抗日本人。于是日本人实现他们出兵入侵东北的计划就近在眼前了。