这句话确实不是完全否定，意思是他们两个没有都说话，也就是只有一个人说话了。完全否定的表达应为Neither of them spoke.(突然发现这句话本身也错了，应为Both of them didn't speak.)
