如果借款人能够与开发商协商，并达成和解协议，则开发商可以退还保证金，否则开发商不会退还。和解协议是双方当事人自愿协商，达成协议以解决双方争议和纠纷的一种方式。和解协议可以是书面形式，也可以是口头形式，但协商达成一致后，必须签字或盖章才有效。
如果业主能够证明开发商存在过错，比如没有按时交付房屋、房屋质量问题一直无法入住等，那么停贷行为是合法的，并且可以通过法律途径追回被扣的保证金。但需要注意的是，业主需要提供相应的证据来证明开发商存在过错，这些证据可能包括购房合同、交付证明、房屋质量检测报告等。