В 1560-1570-х годах Ярославские земли постигла великая 3-хгодовая засуха, которая привела к сильнейшему голоду, хлеб увеличился в цене в 5-10 раз, что привело к мору. Ситуацию усугубила чума. Гибель почти двух третей всего населения губернии привело к тому, что то тут, то там начали появляться самозванцы. Это время в истории было названо Смутой.
В 1606 году, после свержения, первого из известных самозванцев, Лжедмитрия I, его тесть и жена Ежи и Марина Мнишеки были сосланы с 375 поляками в Ярославские земли. Проживали поляки свободно за городским земляным валом. Со слов поляков, Ярославль имел тогда плачевный вид: хоть и большая, но насквозь прогнившая старая церковь, кроме Спасского монастыря каменных строений нет вовсе, ров маловат для такого большого города – «всего 2 копья глубиной». В 1608 году закончилась ссылка Марины, ее отца и остальных поляков, которых отпустили на родину.
В том же 1608 году пришла вторая беда в лице еще одного самозванца – Лжедмитрия II. При осаде Москвы, его войска подступили к стенам Ярославля. Федор Барятинский, воевода Ярославский, не долго думая, сдал город. Ярославлю пришлось обещать снарядить тысячу всадников и заплатить контрибуцию в 30 тысяч рублей, что бы уберечь город от разворовывания поляками, которые поддерживали Лжедмитрия II. Но даже вопреки дани, заплаченной разбойникам, поляки город все равно грабили и бесчинствовали в нем. Позже отряд поляка Александра Лисовского направлявшийся на подавление восстания в Галиче и Костроме, остановился в городе. Той ночью посадское войско из местных ополченцев перебило много пьяных поляков. Но и эта попытка противодействия не помогла Ярославлю спастись от грабежей и погромов.
Февраль, 1609 года. В Ярославль из Вологды двинулось ополчение под командованием воевод Силы Гагарина, Никиты Вышеславцева и Евсевия Рязанова. 7 апреля ополченцы разгромили польский гарнизон под управлением Тышкевича в бою неподалеку от города. Полякам пришлось покинуть Ярославль. Ополчение вступило в город на следующий же день. Ярославль опять начали отстраивать.