При царствовании Ивана IV город Вязьма состоял из 3 частей: Большого и Нижнего города, а также Малого города, расположенного на Соборной горе. В часть Большого города входила территория: вверх от Советской площади к улице лейтенанта Шмидта вплоть до Кронштадтской улицы, переходящей чрез площадь имени Ефремова к улице Расковой Марины до Спасской башни; также к северу от площади Советской до Верхнего города вдоль реки Вязьмы.
На Калужской дороге (ныне улица Кронштадтская) с южной стороны к городу примыкала слободка Троицкая. К Вязьме примыкали дороги из Смоленска (ул. Старая Смоленская), Белого (ул. Перновского полка и Комсомольская), Москвы (ул. Ленина), Духовщины (ул. Докучаева).
В ольховом лесу у Духовщинской дороги под покровительством Телепнева-Оболенского промышлял притон разбойников. Разбойники убивали и грабили и бедного, и знатного, и пешего, и конного. Люди стали бояться ехать в Вязьму, поэтому торговля в городе зачахла. О данном факте узнал настоятель Герасим монастыря Болдинского под городом Дорогобужем. Как утверждает житие святого, Герасим пришел в Вязьму и начал уговаривать разбойников не беспокоить население города и исправить свою жизнь. Рядом с притоном разбойников святой построил келью и ежедневно начал молиться. Его избивали, но он продолжал свое праведное дело. В результате разбойники одумались, притон распался, а грабежи прекратились. На месте кельи святого Герасима в дальнейшем строят приют молитвы.
В 1565 году Вязьма была включена Иваном Грозным в разряд опричных городов. В этот город царь переселил купцов из Новгорода. Поэтому в этот период Вязьма существенно увеличила свои территориальные рамки, в городе появились Входоиерусалимский, Введенский, Воскресенский храмы, церковь мучеников Демьяна и Козьмы.