Místo, kde kdysi stával rozlehlý hrad oválného půdorysu obehnaný příkopem, je dnes zarostlé mladým lesem a zasypané množstvím sutě. Přesné uspořádání hradu není tedy možné určit, avšak s velkou pravděpodobností jsou pod vrstvami nánosu zachovány zbytky zdiva, čekající na archeologický průzkum. Zříceniny hradu Vildštejna se dochovaly na skalnatém ostrohu nad říčkou Lomnicí severozápadně od Budišova nad Budišovkou. Někdy kolem roku 1274 vznikl Vildštejn zřejmě jako správní středisko budišovského panství, s nímž sdílel jeho osudy.
První písemná zmínka však pochází až roku 1316 a v pozdějších letech byl součástí majetku olomouckého biskupa. Hrad zanikl spolu s několika okolními vesnicemi pravděpodobně koncem 14. století za válek mezi markrabaty Joštem a Prokopem. Důkazem toho je dochovaná zpráva z roku 1399 o vypálení Budišova stoupenci markraběte Prokopa, nepřítele olomouckého biskupa Jana XI. Mráze (1397 – 1403). Od 15. století nejsou o hradu již žádné písemné zmínky a panství bylo řízeno přímo z Budišova. Nedaleko zříceniny se zvedá skála nesoucí název Kazatelna. Podle pověsti se v okolí zříceniny a u tohoto skalního útvaru v roce 1621 ukrýval J. A. Komenský po té, co musel utéct z města Fulneku.
