另一方面，施耐庵的武功也相当了得。苏州城外灵岩山上，住着一个外地逃荒来的农夫，以种植经营茶园糊口。一日，本地一个恶霸路过，强夺茶园，毒打农夫，还赶了农夫下山。施耐庵赴苏州时，得知此事，决心打抱不平，便带这个农夫到衙门告状。
该恶霸慑于施耐庵的名气，极不情愿地将茶园还给了农夫。但从此，却对施耐庵恨之入骨。他出银两雇了4个武艺颇高的恶棍，企图暗算施耐庵
这天，4个恶棍围截了正独自走在路上的施耐庵。一个使铁棍的恶棍首先扑上去，举棍就朝施耐庵的头顶劈，施耐庵侧身让过，双手即刻抓住了铁棍，接着飞起一脚将对方踢出一丈多远。这时，其他3个恶棍一齐冲了上来，欲将施耐庵置于死地。而此时的施耐庵不慌不忙，将已夺到手里的这根铁棍左拨右点，上挥下捣，不一会儿，众恶棍就招架不住，纷纷败退。施耐庵又一横棍，一扬手，阻拦了他们的退路，4个恶棍无一能够脱逃。无可奈何之下，他们只好哭叫“施大人，棍下饶命”。施耐庵见他们俯首求饶，便也罢手，朗声喝道：“回去告诉你们的主子，不服气可以再来。”
恶棍回去向恶霸如实禀报，恶霸听后也胆战心惊，从此再也不敢在乡里寻衅。
从此，施耐庵武艺高强之名远扬。施耐庵一面专心著书，一面习武健身，一直活到74岁。