债务人迟延履行时应该采取下列方式来解除合同：
1、由当事人协商一致后解除；
2、因一方有迟延履行等违约事由，致使合同目的不能实现或者一方迟延履行，经催告后在合理期间内仍不履行的，对方可行使单方的合同解除权。
法律依据：
《民法典》第五百六十二条 当事人协商一致，可以解除合同。 当事人可以约定一方解除合同的事由。解除合同的事由发生时，解除权人可以解除合同。 第五百六十三条 有下列情形之一的，当事人可以解除合同： （一）因不可抗力致使不能实现合同目的； （二）在履行期限届满前，当事人一方明确表示或者以自己的行为表明不履行主要债务； （三）当事人一方迟延履行主要债务，经催告后在合理期限内仍未履行； （四）当事人一方迟延履行债务或者有其他违约行为致使不能实现合同目的； （五）法律规定的其他情形。 以持续履行的债务为内容的不定期合同，当事人可以随时解除合同，但是应当在合理期限之前通知对方。