1、要退还。
首先没有结婚不需要办理离婚，根据我国关于彩礼的规定如下：当事人请求返还按照习俗给付的彩礼的，如果查明属于下列情形，人民应当予以支持：
（一）双方未办理结婚登记手续的；
（二）双方办理结婚登记手续但确未共同生活的；
（三）婚前给付并导致给付人生活困难的。
适用前款第（二）、（三）项的规定，应当以双方离婚为条件。 但具体能否要求对方退还彩礼，还需要根据实际情况
2、男女一方要求离婚的，可由有关部门进行调解或直接向人民提出离婚诉讼。
人民法院审理离婚案件，应当进行调解;如感情确已破裂，调解无效，应准予离婚。
有下列情形之一，调解无效的，应准予离婚：
(一)重婚或有配偶者与他人同居的;
(二)实施家庭暴力或虐待、遗弃家庭成员的;
(三)有赌博、吸毒等恶习屡教不改的;
(四)因感情不和分居满二年的;
(五)其他导致夫妻感情破裂的情形。
一方被宣告失踪，另一方提出离婚诉讼的，应准予离婚。