只有在双方协商一致，合同无效和合同里面约定的情形下退房不需要支付违约金。
合同无效的直接结果是因合同取得的财产应予返还，具体到购房合同上就是购房者退还房屋，而开发商退还房款。购房合同无效的两种情形：
1、开发商无权处理该房产。主要有开发商未取得预售许可，房屋为共有财产而未经其他共有权人书面同意的，该房屋权属有争议，司法机关、依法裁定、决定查封或以其他形式限制房屋权利等情形;
2、开发商存在欺诈情形。包括出卖后的期房又另行出卖的;隐瞒房屋被抵押的事实的。
1)套型误差导致退房。套型与设计图纸不一致时，或者相关尺寸超出约定的误差范围，合同中对此未约定处理方式的，购房人可以退房。
2)面积误差导致退房。即合同约定面积与产权登记面积发生误差达到一定比例。若合同中未约定具体的比例，按照有关规定，误差比绝对值超出3%时，购房人有权退房。
3)变更规划、设计导致退房。已预售的商品房，开发商应在变更规划、设计导致商品房的结构形式、户型、空间尺寸、朝向变化，以及出现合同约定的其他影响商品房质量或者使用功能情形之日起一定时间内书面通知购房者，购房者在接到通知后可选择是否退房。若开发商未在规定时限内通知的，购房者有权要求退房。
4)质量不合格导致退房。商品房交付使用后，买房人认为主体结构质量不合格的，可以依照有关规定委托工程质量检测机构重新核验，经核验，确属主体结构质量不合格的，购房者有权退房。
5)不能办理产权证导致退房。在法定的或者约定的期限届满1年后，仍不能办理房屋产权证的，购房者可以解除合同退房。