Klášter stojí na Dominikánském náměstí východně od hlavního Mírového náměstí.
Původní kostelík svatého Jakuba existoval snad již ve 12. století a sloužil potřebám jedné z četných osad, z nichž se postupně vyvinulo středověké město. Patrně od roku 1233 zde působil minoritský konvent. Zajímavá je jeho poloha před rohem původních hradeb. Tehdy začala i stavba raně gotického kostela v typických formách mendikantských svatyň té doby: jednolodní stavba s dlouhým chórem (kostel byl delší než dnešní barokní).
Od poloviny 14. století se klášter po stavbě nových městských hradeb ocitl uvnitř města. Ani tato skutečnost nezabránila jeho poškození za husitských válek. Komunita v 15.–16. století přežívala v převážně kališnickém městě velmi skromně. Roku 1619 byli minorité z města vyhnáni, vrátili se po potlačení povstání o dva roky později.
Další pohromy zasáhly klášter během třicetileté války, teprve po jejím skončení se začalo pomýšlet na barokní obnovu. Ta začala v letech 1662–7 nezbytnými opravami původních objektů. Po požáru roku 1714 začala zásadní přestavba celého kláštera, která se táhla do roku 1758.
Roku 1785 byl konvent zrušen, o tři roky později sem byli přemístěni dominikáni ze zrušeného kláštera u svatého Michala. Ti tu působili do roku 1950, po roce 1990 jim byl objekt navrácen, dnes zde sídlí sociální ústav.
