妻子出轨离婚不离家,还要为难她吗