Губернским центром город Вологда становится в 1780 году. Перед этим город был опустошен пожаром, фактически все деревянные постройки сгорели. Возникла необходимость расширить границы города и перенести на нижний посад административный центр, где находились Соловецкий, Кирилло-Белозерский и Прилуцкий монастыри. Но между посадами протекала река Золотуха. Поэтому в 1789 году через Золотуху строят Каменный мост по проекту Бортникова П.Т.
Спустя некоторое время около моста построили четыре трехэтажные круглые башни с торговыми помещениями, которые имели ступенчатый фасад. Эти сооружения представляли собой единый архитектурный образ и создавали оригинальную композицию.
К сегодняшнему дню пристройки утратили свой первозданный вид. В XIX веке при строительстве гостиниц «Эрмитаж» и «Пассаж» южные башни ансамбля разобрали, а северные сохранились.
На протяжении двух веков Каменный мост играл важное значение в жизни города как торговый и общественный центр. Своего значения он не утратил и в настоящие дни.