Na místě stála původně tvrz z 15. století, která byla v 16. století přestavěna na zámek. Pozdně barokní kostel Nanebevzetí Panny Marie v Konojedech byl vystavěn na místě staršího raně barokního kostela ze samého sklonku 17. století. Kostel spolu se zámkem, bývalým konventem servitů zrušeným roku 1786 nařízením císaře Josefa II., tvoří neoddělitelný historický celek. Fundace kostela s konventem náleží hraběti Františku Karlu Swéerts-Sporckovi a jeho manželce Anně Kateřině.
Základní kámen kostela byl položen v roce 1747. Po zrušení kláštera v roce 1786 koupil klášterní majetek syn zakladatelů Jan Kristián a přestavěl jej na zámek. Ten byl sice od roku 1958 chráněn jako kulturní památka, ale během druhé poloviny 20. století byl zámek i kostel využíván lidovou armádou a postupně se dostal do havarijního stavu, byl také staticky poškozen odstřely v nedalekém kamenolomu. Od 80. let byl kostel postupně vystěhováván a opakovaně vykraden.
V roce 2007 koupil zámek soukromý vlastník, díky kterému začala rozsáhlá rekonstrukce. Také přilehlý kostel prošel díky Spolku pro obnovu památek Úštěcka kompletní rekonstrukcí. Kostel je tak v současné době využíván pro koncerty, svatební obřady a občasné prohlídky.
