Adelssetet ble påbegynt allerede i 1780 årene, men stod ikke ferdig før i år 1800. Rundt år 1900 ble huset bygget om og ble mer herskapelig. Da ble det kjøpt opp av Buskerud Papirfabrikk for å bli direktørbolig. Papirfabrikken ligger rett over veien til barnehagen, og er i dag omgjort til borettslagsleiligheter. Det har vært adelssete på Berskau i flere hundre år- helt tilbake til 1600 tallet. Hollenderfamilien som holdt til på gården på 1600 tallet het Rosenkrantz og gav navn til hovedgata i Drammen: Rosenkrantzgata. Norge og Drammen handlet mye tømmer med Holland på denne tiden, og Rosenkrantzfamilien solgte sannsynligvis tømmer fra Berskau gård.