離婚時候是否要退回彩禮是否需要退男方，還需要看實際的情況是否構成了彩禮返還的條件，如果構成了彩禮返還的條件，可以依法要求退回。
可以要求返還彩禮的情形包括具體如下：
1、給付彩禮后悔婚，雙方未辦理結婚登記的；
2、雙方即使已經辦理結婚登記手續，但確未共同生活過就高婚的；
3、婚前給付彩禮導致給付人生活困難，離婚時也可以此為由要求返還彩禮。
男女雙方以結婚為目的共同組建家庭，在結婚前如果一方向另一方給付了大量的結婚禮金或是貴重物品，如果離婚，會導致給付人生活困難，無法支付日常生活開銷，或是償還債務的情況下，給付方可以向法院提起訴訟，要求接受彩禮方返還按照習俗給付的彩禮。
法律依據：《中華人民共和國民法典》第一千零四十三條
（一）家庭應當樹立優良家風，弘揚家庭美德，重視家庭文明建設。
（二）夫妻應當互相忠實，互相尊重，互相關愛；家庭成員應當敬老愛幼，互相幫助，維護平等、和睦、文明的婚姻家庭關系。