Muzeum je umístěno v nejstarším dochovalém domě v Doksech. Nachází se na rohu ulic Komenského, Valdštejnské a Máchovy. Je to roubená stavba se šindelovou střechou a věžičkou, která přečkala všechny zhoubné požáry města.
Dům dala postavit v roce 1669 hraběnka Marie Františka z Vrtby, druhá manželka Kryštofa Ferdinanda z Heissensteinu, pro staré a práce neschopnévysloužilce z panského dvora jako panský špitál. V roce 1723 byla v přízemí zřízena kaple sv. Jana Nepomuckého a místo špitálního kaplana, který sloužil 4x týdně mše a v neděli ještě celebroval mše v kostele. Kaple s lavicemi a oltářem byla v přízemí. Zde se také nacházela společná místnost obyvatel špitálu. V prvním patře byl později zřízen byt pro kaplana. Do té doby kaplan bydlel v hospodářském traktu zámku.
K domku patřila poměrně velká zahrada se studnou a kůlnou. Na ní špitálníci pěstovali zeleninu. Nad kaplí byla věžička se zvonkem. Po zdech špitálku se pnula vinná réva. Po druhé světové válce se špitálek stal motlitebnou československé církve.
Po rekonstrukci v roce 1960 zde byla zřízena pamětní síň K.H.Máchy, ve dvou místnostech v přízemí sídlila do roku 1968 městská knihovna. Horní část budovy využívali členové Svazku českých spisovatelů. Další rozsáhlá rekonstrukce budovy probíhala ve druhé polovině 80. let , kdy byla nově zpracována také expozice věnovaná životu a dílu Karla Hynka Máchy. Od roku 1999 jsou v budově dvě stálé expozice – máchovská a expozice věnovaná dějinám rybářství a rybníkářství na Českolipsku. Budovu spravuje Vlastivědné muzeum v České Lípě.
Pod muzeem pod starobylým kaštanem se nachází socha sv. Prokopa pocházející z roku 1761. Dříve mezi dvěma lípami stál na kamenném podstavci kříž. Socha sv. Prokopa stávala ve Sviňském dole nedaleko Dubé. A právě u její paty zavraždil v květnu 1774 mladý jednadvacetiletý Hynek Schiffner z Dubé svého otce. Tato tragická událost se stala o šedesát let později epickým základem básnické skladby “Máj” Karla Hynka Máchy.
