离婚不离家的男人能交往吗