Piaristické gymnázium nechal zřídit po třicetileté válce hrabě Heřman Jakub Černín z Chudenic. Kosmonoské gymnázium jako jedno z prvních v českém království získávalo uznání za úspěšnou vzdělávací činnost a stávalo se kulturním centrem kraje. Vyučování začalo v roce 1688. V průčelí na obou rozích budovy byly vystavěny dvě věže s cibulovitými báněmi. V místech, kde se chrámová část dotýká piaristické koleje, byla nad presbytářem vybudována osmiboká štíhlá kamenná věž, rovněž s cibulovitou bání.
Ve východní věži jsou umístěny dva zvony a hodiny. Kolej měla školní místnosti v západním křídle, dále cely řeholníků a v severní části byla vybudována shromažďovací síň, sloužící později pro divadlo. Byla zde i zahrada a hřiště pro žáky. Ve vlastnictví koleje byla konírna, pec na pečení chleba, ale i kulečník. Kolej měla na tehdejší dobu velký význam. Vzdělávala se zde mládež nejen z Boleslavska, ale i z Liberecka, Frýdlantska a dokonce z Lužice. V roce 1784 bylo piaristům nařízeno přestěhování do kláštera Na Karmeli.
V roce 1793 koupil prázdnou klášterní budovu František Leitenberger a zřídil zde textilní továrnu, tiskl zde šátky pod značkou Cosmanos. V roce 1859 zde byla umístěna nemocnice pro raněné z rakousko-italské války. K další změně majitele došlo v roce 1867, kdy kolej získal zemský výbor a po stavebních úpravách zde zřídil ústav pro choromyslné, dnešní psychiatrickou nemocnici
