Rezygnacja z kupna działki budowlanej.

Dzień dobry, zdecydowałem się na kupno działki budowlanej. Z właścicielem działki ustaliliśmy już cenę. Mieliśmy też ustalony termin podpisania umowy notarialnej. Wszystko było w zasadzie gotowe. Niestety z przyczyn osobistych musiałem zrezygnować z kupna tej działki. Właściciel grozi mi sądem za to, że zrezygnowałem, a się "umawialiśmy" i że przeze mnie "stracił ponad tydzień czasu". Czy w związku z tym, właściciel będzie miał prawo podać mnie do sądu i żądać jakiegokolwiek odszkodowania albo będę musiał jednak kupić tą działkę budowlaną? Żadnej umowy przedwstępnej nie podpisywaliśmy. Wszystko było jedynie ustalane telefonicznie.