Jak odzyskać część działki zajętej przez sąsiada ?

Mam problem z sąsiadem. Dostałam w spadku działkę budowlaną wraz z domem, która graniczy z sąsiada działką. Sąsiad przywłaszczył sobie kawałek działki, twierdząc że zmarła sąsiadka pozwoliła mu mieć dojazd do domu (nie ma tego nigdzie na piśmie, jedynie on ma nagranie ) owszem sąsiadka się zgodziła ale tylko na czas budowy. Zaznaczam że ma dojazd do swojej działki z drogi gminnej. Co w takiej sytuacji zrobić? Czy ma on prawo sobie przywłaszczyć kawałek działki?