Nejznámějším držitelem hradu byl Jindřich z Lipé. Do poloviny 17. století na hradě sídlili Berkové z Dubé, kteří jej v 16. století přestavěli na renesanční zámek s dvoupatrovým palácem. Později však byl zámek opuštěn a v roce 1957 stržen. Z původní stavby se dochovala jen zřícenina se zachovanými sklepy, částí hradního zdiva a 2 brány.
V současné době se na hradě konají různé kulturní akce, pašijové hry a další.
Expozice na vodním hradě:
Ve východním křídle hradu je umístěna stálá expozice, která má dílčím způsobem připomenout nejenom dobu cukrovaru, ale i existenci židovské menšiny ve městě a její přínos pro českolipskou komunitu.
V zrestaurovaných prostorách východní brány tak může návštěvník získat představu, jak vypadaly místnosti v 19. století, kdy je využíval ředitel cukrovaru, který byl v té době zřízen v areálu hradu.
Dva prohlídkové okruhy vás zavedou na nádvoří hradu, unikátních hradních sklepení a také na jedinou dochovanou stavbu hradu Lipý – branskou věž. Ve věži je instalována expozice seznamující se životem na tomto sídle na přelomu 19. a 20. století. V průběhu letní sezony se na hradě koná celá řada zajímavých kulturních akcí. Vybírat můžete z koncertů, divadelních představení nebo výstav.
