岑港之战后，倭寇意识到宁波、绍兴一带，明军兵力雄厚，便开始向南侵犯。1559年春末，数千倭寇在台州、温州登陆，一路烧杀抢劫，浙江沿海形势又紧张起来。
戚继光的好友谭纶，这时已经升任浙江按察司副使（一个省司法部门的第二长官），正好是戚继光的上级。有了谭纶的支持，戚继光更能发挥自己的才能了。
1659年5月11日，谭纶和戚继光领兵从宁波出发，向东南进军。军容整齐，盔明甲亮，戚继光十分高兴。
大军越往前走，碰见的人越少。其实村庄也不少，可大都是空的。村中房倒墙塌，到处是一片废墟。木头、窗子、树木等一些能烧的东西都烧着了，黑黑的烟笼罩在破瓦块上。鸡狗都不见一只，大概不是烧死就是被抢走了吧。满目凄凉，勾起了将士们的满腔义愤。
军队开到桃渚附近，驻扎下来。桃渚已经被围一个多月，对外交通全部断绝，城中度日如年，危在旦夕。
戚继光一到，就做好打仗的准备。他派几十名鸟铳手偷偷进城，鸟铳手按照他的命令，到处大张旗鼓，这是戚继光布置的疑兵之计。他还派出几路军队，分头埋伏。
23日，倭寇开始攻城。他们赤着胳膊，手提盾牌或倭刀，疯似地向护城河冲来。过了护城河，架起攻城云梯，争先恐后向上爬。城内军民都站在城墙上，依靠有利地势，与敌军展开激战。正在这时，城上鼓声大作，旌旗飘飘，喊杀声大起。几十名鸟铳手冲到城墙边，弹药齐发，攻城的倭寇顿时死了几十人。鸟铳这种武器只有在正规军队中才有，倭寇以为戚继光军队已经进入城里。又见城头旌旗飘摆，十分雄壮。再不敢攻城，潮水一般退了回去。城头上的人虚张声势，摇动旌旗，擂动战鼓，鸟铳声不绝于耳。倭寇以为大军在后面追杀，跑得更快了。倭寇狼狈逃窜，直到发现没有追兵，才停下来。
倭寇头气急败坏，下令到附近村庄抢劫，以发泄被打败之气。倭寇们分成十几队，如狼似虎闯入一个村庄，村人知道倭寇要来，早跑光了。倭寇挨家搜索，寻找能吃的、有用的东西。正搜索时，忽听四周号炮不断，醒过神来，四面八方已涌来无数的明军。倭寇惊慌失措，又累又饿，无力再打，杀开一条血路，向南逃窜。
他们逃到一条河边，这条河叫灵江。他们点起几堆大火，排成一定次序，这是他们的求救信号。果然，不久，江上多了许多倭船，上岸之后，与北边倭寇合兵一处。
戚继光分兵出击，分三路设下埋伏。号令三军“战必胜，后退者斩”。他亲自拿起鼓槌，擂起进攻的战鼓。战斗打响了，鼓声隆隆，喊杀阵阵，双方展开白刃战。战斗从早上开始，一直杀到中午，明军越战越勇。一个勇士叫胡元伦，带头冲杀，所到之处，倭寇哭爹叫妈，他身上受了好几处伤，鲜血染红战袍，但他仍然奋勇直前。
最后，倭寇支持不住，全线崩溃，一半向灵江北岸的山区逃窜；一半渡江向南岸逃窜，这股敌人被伏兵冲为两段，戚继光率兵赶来，将其中一部消灭在黄焦山，取得很大胜利。
