Pusté kostely jsou volně přístupné umělé jeskyně vzniklé těžbou písku z pískovcového masivu. Jeskyně se využívaly k různým účelům – mlýny, hamr, brusírny skla, skladiště. V dobách válek sloužily jako nouzové úkryty. Strop jeskyní podpírá síť pilířů až 4 m vysokých.

Jeskyně jsou volně přístupné, doporučujeme při návštěvě použít baterku. Při chůzi od Svitavy podél toku říčky Svitávky, dojdete k malým zádlabům v pískovcové skále. O několik metrů dále se říčka Svitávka dostává zákrutem pod břeh, kde zdánlivě mizí, ale následně se opět ojevuje. Jednalo se o původní cestu náhohu k mlýnským kolům (14. stol.). Později došlo ke zdokonalení náhonu, který byl vytesán vlastním skalním masívem. Náhonem, který je místy jen 160 cm vysoký, projdete jeskynní sluje, ve kterých se nacházely vodní mlýny, hamr, brusírny skla poháněné vodou a další obdobná zařízení. Náhon po cca 250 – 300 metrech vyusťuje nad silnicí ze Svitavy do Velenic. Z této silnice je však přístup orientačně náročnější, neboť v letním období bývá vstup zarostlý vegetací.

Asi 300 m od mostu přes Svitavu stojí roubená bývalá leštírna a výrobna zrcadel. Voda k pohonu strojů protékala vytesaným 350 m dlouhým náhonem skrze skalní meandr řeky. Vejít do jeho systému lze úzkým schodištěm ve skále nad silnicí naproti bývalé sklárně. Další vchody leží na břehu říčky a jeden z těchto vchodů je velkou dómovitou prostorou skalního lomu. Jižně od sklárny stoupá lesní cesta k zchátralému objektu tzv. Velenických komor. Komory jsou vysoké 2 – 4 m a táhnou se 100 m do pískovcového masívu.