Tvrz byla přesto obnovena Janem a Benešem z Heršic, když padl jejich hrad Šaumburk. V 80. letech 16. století bylo sídlo přestavěno na renesanční zámek. Ten si nechal vystavět biskup Jan Pavlovský. Tento biskup je jednou z nejvýznamnějších osobností moravských dějin – rázně podporoval prosazování katolického náboženství na Moravě, ovládané převážně protestantskou šlechtou. Proto se často dostával do sporu nejen s místními šlechtici. Stavba nákladného zámku byla například jednou z příčin selské vzpoury v roce 1589, která byla potlačena silou. Jan Pavlovský byl však velmi schopným politikem a diplomatem. Císař Rudolf II. ho nechával například vést diplomatické styky monarchie s Polskem.
Slibný rozkvět města ukončila až třicetiletá válka. V roce 1621 byla Kelč několikrát vypleněna a vypálena nekatolickými poddanými ze sousedních panství – pro sousední protestantská valašská panství bylo katolické město trnem v oku, a tak bylo několikrát vypleněno. Po biskupově smrti byl zámek doplněn o opevnění. Toto opevnění se dobře osvědčilo v roce 1647 při útoku švédského oddílu, který se zámek pokusil dvakrát neúspěšně dobýt. Měšťané utekli do zámku, kde se ubránili.
Zámek po švédských válkách
Po švédských válkách zámek obnovil biskup Karel z Lichtenštejna a Kastelkorna, o jehož stavební činnosti svědčí erb nad hlavním zámeckým vchodem. Tyto úpravy, ač barokní, nenarušily celkový renesanční ráz zámku. Dne 17. 6. 1742 zámek vyhořel i s osmi přilehlými domy. Od té doby byl neobydlen a pustl. Za 1. světové války byli do zámku nastěhováni haličtí židé a měli tam i svoji školu.
Oprav se zámek dočkal teprve po roce 1928, kdy jej zakoupila Česká zemská péče o mládež, která v něm zřídila ústav pro děti duševně úchylné s pomocnou školou. V roce 1956 byl ústav přeměněn na zvláštní internátní učňovskou školu. V současné době budova slouží jako internát a učiliště a je veřejnosti nepřístupná.
