第2连部队也迅速地突进了围墙，向街中心突进，很快把慌乱中向旁边碉堡逃跑的日伪军大部歼灭。
5日下午，战场上呈现暂时的沉寂，大家都在为攻击最后的日军据点准备着。日军的碉堡，比任何伪军的工事都要坚固：小围墙高7米左右，南北长约200多米，东西宽约100多米，外壕有近10米宽，南北都有涧河环绕，东西南三面，外壕有两米多深的泥水，围墙四周有5个隐蔽射击碉堡，正南面有进出汽车的大门，围墙里是两座瓦房，相距30米左右，中间还筑有一座大碉堡，旁边又有隐蔽射击碉堡，周围以铁丝网环绕，四周均有相通的壕沟连为一体。如此坚固的据点，着实令指战员们颇费心思。
下午3点半，按既定方案开始对日军工事炮击。迫击炮弹呼啸而下，日军工事在隆隆的爆炸声中分崩离析，日军陷入一片混乱之中。黄昏时分，炮声戛然而止，冲锋号划破长空，我军潮水般向日军据点冲去。负隅顽抗的日军的枪声、掷弹筒声响成一片。
此时，打援战斗也已展开，最为精彩的打援发生在芦家滩。
第一纵队在4日夜间进入打援地域后，以第3营在芦家滩以西构筑阵地，在前沿敷设了地雷，担任正面阻击来援之敌；以第4营配置于第3营侧后，担任纵深防御；将主力3个营隐蔽配置在石桥头及其附近地域，以侧面阻击来援之敌。
5日下午，日军三泽金夫大佐率驻淮阴、淮安、泗阳、涟水等地的日军乘车增援车桥，并催调各据点敌人陆续驰援。3点许，三泽所率第一批增援日军抵达我军芦家滩阵地前，在对第3营阵地实施正面攻击的同时，以一部分兵力对第3营的右翼进行迂回。我军则在第3营进行正面抗击的同时，以第2营的1个连对敌之侧翼实施突击，将敌击退至韩庄附近，迫其闯入我军预设的地雷阵，伤亡60余人。傍晚，又各有日军百余人赶来增援。我军均以正面抗击结合侧翼突击，阻敌于阵地之前。晚上8点许，3批援敌倾全力猛攻我第3营阵地，我军也以主力从侧方猛攻敌人据守的韩庄阵地，双方展开激战。
据叶飞回忆：第4连和特务营1连分别由北、西两个方向攻入韩庄，随后第5连也自东面突破，把日军截成4段，和敌人展开白刃战。10点许，第3营俘虏的日军军官中，有一名身负重伤而又狂呼乱叫的军官，身挂银鞘指挥刀，战士们把他抬到包扎所时，已经死了。经俘虏辨认：正是三泽大佐！据2015年7月6日《新华日报》报道,1944年车桥战役新四军曾击毙日军独立步兵60大队大队长三泽金夫大佐，后追晋少将，追晋文件及战斗概述等3份日本新解密档案确认该战果。此前中方资料或缺漏全名，或记作“山泽”，不知曾击毙一名将领。