В конце XVIII века был построен Шаламовский дом. Собой он представляет 2-этажный особняк, расположенный по улице Сергея Орлова за собором Софийским. Изначально здание принадлежало Вологодской епархии и предназначалось для жилья служителей Софийского собора. В 1907 году родился в церковной семье Шаламов Варлам Тихонович. Это известный автор «Колымских рассказов». В 1990 году В.Т. Шаламову установили мемориальную доску при входе в здание. Ее автором является московский скульптор Федот Сучков, друг Шаламова.
В 1991 году в доме открылся мемориальный музей Шаламова, в той части здания, где ранее проживала семья писателя. Экспозиция музея включает личные вещи (часы и полевую сумку), публикации автора, документы эпохи. Символ музея – лиственница с Колымы. Фонд музея в 2008 году пополнился прижизненным портретом Шаламова, единственного в своем роде. В день рождения писателя проходит день памяти, а в течение года – литературные вечера.
Также в Шаламовском доме располагается картинная галерея, где размещены экспозиции западноевропейского и русского искусства XVI–XX веков. В создании галереи активное участие приняли Нижегородская, Саратовская художественные музеи, Третьяковская галерея, Русский музей. Благодаря Т. Г. Петровой, Г. В. Сысоева, С. Л. Рыловой, А. Ф. Протопопова, П. Е. Корнилова картинная галерея пополнилась полотнами С. А. Коровина, В. Д. Поленова, А. А. Рылова, А. К. Саврасова.