通常来说，缴纳的保证金是需要开具收据的。作为甲方，您应该要求投标方提供正式的发票或收据来确认保证金的缴纳。这有助于确保资金流程的透明性和合规性，并在后续跟进或结算款项时提供有效的凭证。

请确保保证金收据上包含有关缴纳日期、金额、付款方和收款方等基本信息，并保存好这些凭证备查。