如果夫妻中的一方或雙方僅僅是單純的有婚外情行為的話，一般是不構成犯罪的。但此時需要區分婚外情與重婚，因為現實中很多婚外情行為實際上已經構成了重婚犯罪。
1994年2月1日民政部《婚姻登記管理條例》公布實施以前，未依據法律規定辦理結婚登記而以夫妻名義共同生活的男女，男女雙方已經符合結婚實質要件的，按事實婚姻處理。
構成重婚罪，處二年以下有期徒刑或者拘役。

【法律依據】

《刑法》第二百五十八條，有配偶而重婚的，或者明知他人有配偶而與之結婚的，處二年以下有期徒刑或者拘役。

婚外情的行為如果構成重婚罪，是違法的，是要判處刑罰的。我國法律規定，禁止重婚，禁止有配偶者與他人同居，并且構成重婚罪或明知他人有配偶而與之結婚的是需要判刑的。
【法律依據】
《中華人民共和國民法典》第一千零四十二條
禁止包辦、買賣婚姻和其他干涉婚姻自由的行為。禁止借婚姻索取財物。
禁止重婚。禁止有配偶者與他人同居。
禁止家庭暴力。禁止家庭成員間的虐待和遺棄。
《中華人民共和國刑法》第二百五十八條
有配偶而重婚的，或者明知他人有配偶而與之結婚的，處二年以下有期徒刑或者拘役。