Во времена Смуты Вязьма с 1606 по 1612 годы подвергалась разорению. Поэтому по указу царя Михаила Федоровича в городе была построена крепость на средства дьяка Ивана Осипова, князя Семена Гагарина, князя Ивана Федоровича Хованского в 1620 году.
В 1627 году на территории Верхнего города располагалась изба государя с погребом, земской казной, хлебными амбарами и военными запасами. Рядом была построена Соборная церковь Николая Чудотворца, к ней относились два придела преподобных Ионы, Алексея, Петра и Сергия Радонежского.
Верхняя крепость включала в себя частокол и несколько башен: Городской (казенный), Раскатной (нижний и верхний бои), Воротная Соборная (въезд в крепость).
В Большом городе были построены деревянные башни:
• Фроловская воротная (защищала Вельскую дорогу и Фроловский мост),
• Фроловская глухая,
• водяные Смоленские ворота (защита Смоленского моста),
• Смоленская воротная (защищала подступы к дороге Смоленской),
• Ильинская глухая угловая (защищала Калужскую сторону),
• глухая Духовская,
• Московская воротная (защита Московской дороги),
• глухая угловая Спасская (защита Воскресенской стороны).
В 1627 году в Вязьме были построены следующие церкви: Симеона Столпника, Сошествия Святого Духа, Преподобного Аркадия, происхождения честного креста. В Большом городе располагался девичий монастырь Ильи Пророка. Здесь же между Московскими и Смоленскими воротами построили Гостиный двор. В Большом городе также находились тюрьма, 2 избы-харчевни, 68 житниц, лавки, дома воеводы, церковнослужителей, приказных, бояр, дворян.