Zámek se nalézá v samém centru městečka a na první pohled upoutá tím, jak je upravený, včetně svého okolí.
Zámek byl přestavěn r. 1680 ze starší tvrze Hynkem Jetřichem Vitanovským. Z původní stavby zůstala zachována část základových a obvodových zdí, některé klenby v přízemí a sklepní prostory. Zámek je nyní majetkem města.
V zámku se nachází Muzeum a světnička Járy Cimrmana. Náš velikán zde má i pomník. V jedné části zámku je též hotel s restaurací. Samotný zámek pokračuje zámeckým parkem (1820–1830) se zajímavou kašnou (dříve v prostorách býval rybník), umělou jeskyní (grotta) s délkou 25 m, empírovým altánem z 19. století a s vyhlídkou na Podměstí. Nedaleko je zajímavá kaple sv. Jana Nepomuckého, zarostlé místo hradu Kyšperk, před zámkem historické náměstí s kostelem sv. Václava.
Zámek stojí v jihovýchodní části náměstí. Skládá se ze dvou architektonicky nevýrazných budov spojených středním spojovacím traktem, otevřeným v přízemí arkádami. Východní budova je dvoupatrová, krytá valbovou střechou vrcholící věžičkou s cibulovitou střechou, západní budova je jednopatrová, v přízemí otevřená arkádou, a krytá též valbovou střechou. K jihu a jihozápadu se rozkládá rozsáhlá zahrada přecházející dále v přírodní anglický park. Při vstupu do parku je k vidění velká voliéra s papoušky Ara.
