老公有外遇2年多不肯承认，但又不肯离婚，每次说到他们的事，他会发脾气，要不就跟转变话题，我该怎么。