V roce 1802 zřídil baron Schrӧffel na místě bývalé konírny nový vstup do parku z třetího hradního nádvoří. Od zdobného portálu vedlo kryté schodiště až ke skleníkům a fíkovně na terasách pod hradbami. Partie pernštejnských zahrad nechal osazovat různými domácími odrůdami tvarovaných ovocných stromů sesazovaných do obrazců, přičemž některé se pnuly po trelážích. Dobový inventář uvádí 588 ovocných stromů a rozsáhlý a pestrý sortiment exotických rostlin pěstovaných ve sklenících. V roce 1805 baron zemřel a tehdy budovaný obelisk, doplněný o čtyři alegorické reliéfy oslavující baronův život, stal i jeho památníkem. Rok po otci zemřel i jeho syn František (ve věku 36 let) a jeho kenotaf – sousoší truchlící vdovy doprovázené dvěma dcerkami před portálem brány do podsvětí – umístěný v nejdramatičtější a nejromantičtější pasáži je posledním prvkem architektonického vybavení pernštejnské zahrady.
Úsilí posledních majitelů panství, hraběcí rodiny Mittrowských z Nemyšle, se soustředilo už jen na údržbu zahrad. Po roce 1945 přešel hrad se zahradami do vlastnictví státu, ale část hospodářských budov i část zahrad se zahradnictvím dostaly jiné majitele. Zahrady nepatřily k zpřístupněným částem hradního areálu, postrádaly stálou údržbu a hlubší péči, chátraly a zarůstaly náletovou zelení, což nevyřešil ani pokus o obnovu v roce 1964.