Окрепшая Москва начинает борьбу за владение Брянском уже со II половины XV века. У стен города все чаще появляются московские дружины. Овладеть Брянском им удается в 1500 году. Литва отказывается от города Брянска, совершив перемирие с Москвой в 1503 и 1508 годах. После того, как Брянск был включен в состав Московского государства, его передают по духовному завещанию князю Юрию.
Жизнь в городе нельзя назвать мирной. Не смотря на заключение мира, Литва продолжает бороться за Брянск. Еще очень долго город оставался опорным пунктом и пограничной крепостью русского войска. Большие силы стояли на данной территории в годы Ливонской войны. Но, тем не менее, в 1583 году его захватили и сожгли польско-литовские войска. Фактически сразу начинают восстановительные работы в городе. Внимание к Брянску усиливается тогда, когда этот удел Иван Грозный жалует сыну Ивану.
В годы Смуты на Брянск нападают поляки и литовцы. Именно в этом месте Годунов держал главные военные силы, направленные против Лжедмитрия первого. В 1606 году население города поддерживает Ивана Болотникова, который возглавил крестьянское восстание. Все посулы и грамоты Василия Шуйского полностью игнорируются. В дальнейшем новому царю Василию все же удается в Брянске создать мощную крепость против Лжедмитрия II. До 1618 года население Брянска не переставало воевать и держать тяжелые осады. Передышка пришла после заключения Деулинского перемирия с Польшей.
В 1627 году из Москвы в Брянскую крепость на постоянное место жительства переселяют стрельцов, за несколько лет Брянск превращается в мощный оборонный оплот русских земель. Увеличили гарнизон до 1000 ратников, пополнили арсенал житницы, построили колодцы и тайники, усилили артиллерию, укрепили острог и крепость.