Od roku 1958 je chráněn jako kulturní památka České republiky. Na jeho osudech se krutě podepsala těžba uranu a také to, že byl po roce 1968 poškozen při pobytu posádky sovětské armády. V září 1987 dokonal dílo zkázy požár – teprve v současné době probíhá rekonstrukce. Zámek patří městu Stráž pod Ralskem, které zde v létě koná hudební festival. Jinak zatím není přístupný veřejnosti.
Původní gotický hrad byl založen na severozápadní straně protáhlého návrší, kolem byl vybudován příkop a hradební zeď, přes příkop byl postaven padací most. Na čelní straně příkop doplňoval mohutný val. Obě dvě za sebou řazené části hradu obíhal parkán, z něhož se dochovala kromě zřetelné plochy i část hradby s okrouhlou baštou pod západním nárožím jádra. Brána si doposud zachovala vpadlinu pro padací most a dvojici otvorů pro kladky zdvihacího mechanismu. Sgrafitová omítka nad branou nese letopočet 1563. Na severní straně hradu kdysi stála hranolová věž, který byla součástí předhradí a z níž se dochovala pouze spodní část.
Z původní podoby hradu, později zámku, dnes stojí pouze jihozápadní renesanční křídlo. Hrad byl postupně přestavován, zvětšován, z původního sídla Vartenberků se příliš nezachovalo.
