男人有固定情人会放弃吗