Det finnes skriftlig belegg for et prektig svalgangshus på Dolm, som stod der som hovedbygning inntil sokneprest Tobias Brodtkorp fikk oppført en ny stor og flott bygning i 1800.

I 1963 brant prestegården og mange av de tilhørende bygningene ned til grunnen. I dag er det bare naustet, stabburet, stallen og låven/fjøset som står igjen.