退休返聘人员虽然跟你单位之间不构成劳动关系，但符合民法中关于劳务关系的特征。根据《最高人民法院关于审理人身损害赔偿案件适用法律若干问题的解释》第十一条规定，雇员在从事雇佣活动中遭受人身损害，雇主应当承担赔偿责任。雇佣关系以外的第三人造成雇员人身损害的，赔偿权利人可以请求第三人承担赔偿责任，也可以请求雇主承担赔偿责任。雇主承担赔偿责任后，可以向第三人追偿。

所以，单位对该雇员在从事雇佣活动中所遭受的人身损害有法定的赔偿义务，不能够通过协议来免除法定责任。