公元1557年（嘉靖三十六年），倭寇[wō kòu]进犯乐清、瑞安、临海等地，戚继光率军前往救援，但因为道路隔绝而没有来得及，朝廷也因此不治戚继光的罪。而后，汪直余党作乱于岑港，戚继光与俞大猷[yóu]两军会合，前往围攻。但很长时间都没有攻下来，于是朝廷将戚继光、俞大猷等人全部罢免，让其带罪杀敌。驻守在岑港的倭寇抵御不住戚继光与俞大猷的进攻，于是打算逃走。
公元1558年（嘉靖三十七年），倭寇造好了大船，准备驾船夜遁，俞大猷和戚继光趁机发动进攻，击沉倭寇大船，余党向闽南逃窜。从岑港逃走的倭寇又在台州烧杀抢掠，给事中罗嘉宾等人弹劾戚继光故意放走岑港的倭寇，有通倭的嫌疑。正要准备治罪，戚继光却因平定汪直的功劳而复官，让戚继光守卫守台、金、严三郡。
戚继光到浙江赴任后，发现卫所的将士作战能力一般，而金华、义乌的人比较彪悍[biāo hàn]，于是戚继光前往招募了三千人，在戚继光的指导训练下，将其练成一支精锐的部队，后称“戚家军”。戚继光根据南方多沼泽的地理特点制定阵法，又给他的部队配备火器、兵械、战舰等装备，戚家军因此名闻天下。
公元1561年（嘉靖四十年），倭寇大举进攻桃渚、圻头等地，戚继光率军扼守桃渚，于龙山大破倭寇，戚继光一路追杀至雁门岭。倭寇遁走之后，趁虚袭击台州，戚继光一马当先手刃倭寇首领，余党走投无路，全部坠入瓜陵江淹死。而圻头倭寇竟又来侵犯台州，戚继光率军于仙居将其全歼[jiān]。台州大捷后，戚继光官升三等。而后，闽、广一带的倭寇流入江西一带作乱，总督胡宗宪无法平定，于是让戚继光来增援，戚继光率军于上坊巢将其击破，倭寇奔走建宁，戚继光引军回浙江。