买房退房的违约金应当按照双方的约定来计算。双方当事人有约定违约金的,在发生违约后,应当按照双方的约定来赔偿违约金,双方对违约金的支付数额有约定的,违约方应当直接向对方支付一定数额的违约金;双方只是约定违约金计算方法的,违约方应当按照计算方法得出违约金的具体数额,再按照得出的数额向对方支付违约金。法律依据:《中华人民共和国民法典》第五百八十五条当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金,也可以约定因违约产生的损失赔偿额的计算方法。约定的违约金低于造成的损失的,人民法院或者仲裁机构可以根据当事人的请求予以增加;约定的违约金过分高于造成的损失的,人民法院或者仲裁机构可以根据当事人的请求予以适当减少。当事人就迟延履行约定违约金的,违约方支付违约金后,还应当履行债务。