В Архиерейском доме первым каменным сооружением является Экономный корпус или здание Казенного приказа. Датой его основания считают 1650 год. В нижнем этаже здания находились погреба и ледники, а в верхнем – два больших помещения, разделенные сенями и занятые казначейскими кельями и казенной приказной. Важные документы, драгоценности и архиерейская казна хранились в мезонине здания. В палатах устраивали не только служебные совещания, но и торжественные приемы. Архитектура Экономного корпуса отличается строгостью и простотой.
Воздвиженскую церковь построили в конце XVII века. Это скромное здание с традиционной композицией объемов. Над прямоугольным алтарем и трапезной возвышается небольшой четверик с одной главой. Позднее в ее здании размещалось Епархиальное Древнехранилище. В XVIII веке облик Воздвиженской церкви изменили вычурной главой и купольным покрытием.
При епископе Пимене в 70-е годы был построен Консисторский корпус. Собой он представлял каменное одноэтажное здание. Второй этаж надстроили при епископе Иосифе Золотом в 1770 году. Этот этаж отдали под семинарию духовную, а в девятнадцатом веке здесь разместилась Консистория. Летом на территории Консисторского корпуса устраивают музыкальные и театральные фестивали: Голоса истории, Лето в Кремле.
Вторым каменным зданием Архиерейского двора является Симоновский корпус с относящейся к нему церковью Рождества Христова. Их возводили также при архиепископе Симоне во II половине XVII века. Над восточной частью церкви располагается высокий четверик с 4-хугольным алтарем. Церковь небольшого размера и занимает часть второго этажа, здесь же находятся архиерейские кельи. Симоновский корпус считается самым роскошным и торжественным зданием в Вологде.
Гаврииловский корпус был построен в XVII веке в стиле живописного московского узорочья. Сейчас Гаврииловский корпус соединен в одно здание вместе с Симоновским.
Роскошные каменные трехэтажные покои – это личные апартаменты епископа Иосифа II, которого прозвали Золотым. Палаты отличаются не только роскошностью, но и разнообразием стилей в архитектуре: украинский, московский, петербургский и западноевропейский.