离婚一般是不需要把彩礼钱退给男方的。但若存在双方未办理结婚登记，只是举办了婚礼，双方办理结婚登记手续但确未共同生活（以离婚为前提）、婚前给付并导致给付人生活困难（以离婚为前提）等情形，男方有权主张返还彩礼。

法律依据：

《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条

当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：

（一）双方未办理结婚登记手续；

（二）双方办理结婚登记手续但确未共同生活；

（三）婚前给付并导致给付人生活困难。

适用前款第二项、第三项的规定，应当以双方离婚为条件。

结婚登记以后给的彩礼，能否算作夫妻共同财产，应当按照以下情况来确定：1、在结婚登记后给的彩礼，应当视为赠与，该赠与财产应当属于夫妻提供财产，应当由双方共同所有；

结婚登记后在给付彩礼时，有明确将财产赠与其中一方的，该彩礼不能算作夫妻共同财产，只能算作夫妻一方的个人财产，彩礼直接归个人所有。