K tomuto zámku nás přivedla keš, bohužel v den naší návštěvy byl zámek nepřístupný a kvůli padajícím větvím byl zamezen i vstup do zámeckého parku. Projít se mohla jen růžová zahrada sousedící přímo se zámkem.
Barokní zámek byl postaven v roce 1749 hrabětem Janem Ludvíkem Harbuval Chamaré. Základem pro stavbu zámku se stal komplex budov hospodářského dvora. Výstavba proběhla pod taktovkou architekta Josefa Jägera. Pozdně barokní čtyřkřídlá jednopatrová stavba kolem nevelkého čtvercového nádvoří byla tedy pouze přestavbou, nikoli novostavbou.
Všechna křídla budov byla výškově sjednocena a završena mansardovou střechou. Kvůli sloupovému vestibulu bylo přestavěno vstupní východní křídlo a v západním křídle byl vybudován převýšený hlavní sál.
Zámek byl hotov roku 1755. Po roce 1757 se prováděly úpravy okolí a parku, které byly ukončeny roku 1772 výstavbou zdi okolo parku. V 19. století došlo k úpravě fasád a parku.
Rodina Chamaré v polovině 19. století vymírá po meči a dědička panství Alžběta Chamaré se vdává za Prokopa Jana Dobřenského z Dobřenic. Tímto sňatkem panství přešlo do rukou Dobřenských, kteří drželi Potštejn do roku 1945, kdy jim byl veškerý majetek zabaven na základě dekretů prezidenta Edvarda Beneše.
Od roku 1949 sídlilo na zámku ROH. Původní šlechtické pokoje byly změněny na posluchárny či ubytovací místnosti. Nábytek byl z části odvezen do různých depozitářů, z části rozkraden či zničen. ROH působilo na zámku do roku 1989.
Poté se vystřídalo několik soukromých majitelů, ale žádný z nich objekt neudržoval. Situace se mění až v roce 2004, kdy poničený zámek kupují manželé Nováčkovi a pouští se do oprav.
