집 문제로 전세대출이 거절됐는데, 계약금을 돌려받을 수 있을까요?

마음에 드는 집을 발견해서 전세 계약을 했습니다. 전세대출을 받아야 하는 상황이라, 계약서에 '전세대출 및 보증보험 불가 시 계약금을 전액 반환한다'는 특약 사항을 넣었습니다. 부동산에서도 안전장치라고 해서 안심하고 계약금을 보냈고요.

그런데 막상 은행에 대출 심사를 신청하니 계속 거절되는 겁니다. 제 신용이나 소득에는 전혀 문제가 없는데 왜 그런가 싶어 여러 은행에 문의해 보니, 집 등기부등본에 잡혀있는 근저당 채권최고액이 너무 높아서 보증보험 가입 한도가 안 나오고, 그래서 대출 실행이 어렵다는 답변을 받았습니다. 한마디로 집의 총채권구조에 문제가 있었던 거죠.

이 사실을 집주인과 부동산에 알리고 특약에 따라 계약금을 돌려달라고 요청했습니다. 그랬더니 집주인은 '다른 은행은 될 수도 있지 않냐', '감액등기를 할 테니 계약서 문구를 바꿔서 다시 심사받아라'라면서 계약금 반환을 거부하고 있습니다. 저는 이미 여러 은행에서 거절당했고, 불안해서 이 집 계약을 진행하고 싶지 않은데, 정말 계약금을 못 돌려받는 건가요? 너무 답답합니다.