退房违约金的违约责任取决于合同约定和法律规定，且约定优先。所以，合同中约定违约责任并明确违约金具体数额的，从其约定;如果没有约定，按照法律规定处理，如：支付定金一方违约的，定金不予返还;收取定金一方违约的，双倍返还定金。双方都有过错的，按照各自过错程度分担。违约金不足以弥补损失的，可以要求违约方按对方所受损失进行赔偿;违约金过高的也可以请求减少赔偿金额。