Zámek vznikl přestavbou původního gotického hradu ve 2. polovině 16. století. Koncem 17. a v průběhu 18. století prošel barokní přestavbou podle návrhů D. Martinelliho a J. E. Fischera z Erlachu. Po roce 1835 byly provedeny úpravy interiérů.
Posledními soukromými majiteli zámku byla od roku 1919 hrabata von Spee, kterým bylo sídlo po roce 1945 zestátněno. Zámek pak byl využíván účelově, sídlila zde i armáda a objekt postupně chátral.
V roce 1990 byl zámek předán obci Jaroslavice. V roce 2004 byl prodán soukromému majitel z Rakouska. Ten by na zámku rád vybudoval hotel a sanatorium. Bohužel stále probíhá několikaletý spor o vlastnictví, proto zámek výraznými opravami zatím neprochází.
Jaroslavický zámek znám především z filmu Zdeňka Trošky Andělská tvář a natáčel se tady také seriál Černí baroni.
