Bygningen er en kopi av et slott som ligger på grensen mellom Skottland og England. Sorenskriver Friderich Fridrichsen var byggherre, og den ærverdige bygningen sto ferdig i 1766. Byggmester George Johnston ble hentet inn fra Nord-England for å utføre jobben, og parken ble anlagt av den dansktyske gartneren Friedrich Ludvig Blumenthal. Skrivergården er i dag en del av byens rådhus.