男人长期不过夫妻生活会怎么样