kaucja przy rozwiązaniu umowy

Witam wszystkich.
Czy wynajmujacy ma prawo zabrać kaucję za mieszkanie przy rozwiązaniu umowy najmu okazjonalnego przed końcem trwania umowy? W umowie są zawarte tylko sytuacje opisane w k.c oraz za porozumieniem stron. My doszliśmy do porozumienia ale w ramach kary zabrano nam kaucję. Czy jest sens walczyć o kaucję w sądzie? Dodam, że wynajmujący na piśmie zaznaczył, że nie wnosi uwag do stanu mieszkania a na poczet wcześniejszego rozwiązania umowy zatrzymuje kaucję w umowie wypowiedzenie umowy najmu mieszkania nie ma żadnej takiej informacji.
Dziękuję za odpowiedzi.