Пещеры искусственного происхождения расположены совсем рядом с Горняком. Они вырублены вручную. Это часть старинных каменоломен. Именно отсюда вырубались камни для мельниц. Даже сегодня здесь можно увидеть мельничные жернова, которые лежат на входах в пещеры. Сейчас эти пещеры закрыты для посещений, так как есть вполне реальная угроза их обрушения. А вот еще несколько лет назад музейные работники водили сюда экскурсии.