如果工人不小心损坏了电梯，要根据损坏的情况以及保险条款来确定赔付责任。如果工人有责任，那么雇主可能需要对损坏负责。如果损坏不属于工人擅自操作所导致的，那么责任可能会落在电梯制造商或维修公司身上，根据保险条款来进行相应的赔付。

因此，在任何情况下，赔付责任需要根据实际情况和保险条款来确定，建议相关各方应全面了解保险条款以及实际情况，从而共同协商解决问题。