Согласно археологическим исследованиям, возникла Рудня раньше, чем встречаются упоминания о ней в летописях. Рудня со всеми прилегающими территориями до середины XIV века входила в состав Смоленского княжества. В 1404 году, после падения Смоленска, Рудня оказалась в тылу польско-литовского государства и так до начала века, когда после освобождения Смоленска Рудня стала пограничным городком.
В 1667 году по итогам Андрусовского перемирия Смоленск стал принадлежать России, а Витебск и Рудня попали под власть Польши. По данным 1783 года в Рудне было 60 домов, а населения – 326 человек, в окрестностях функционировало два завода, сукновальня и мельница.
Новым витком в развитии города стало открытие шоссе Витебск-Смоленск в 1856 году, а спустя 12 лет проложили железную дорогу Рига – Орел.
В списке-справочнике населенных пунктов Могилевской губернии (1908 года) Рудня была указана как местечко 4-го стана, Могилевской губернии, Оршанского уезда, Руднянской волости. Также указано, что принадлежит Рудня тайному советнику Д.О. Отто, а другая часть – Руднянскому сельскому обществу. Расположение города указано около шоссе Витебск – Смоленск при речке Березине, в 2 км от станции Рудня Риго-Орловской железной дороги. По сведениям в Рудне было 1809 мещан, которые занимаются торговлей и ремеслом, а также 793 крестьян. А что касается чиновников и дворян, то их насчитывалось всего 7 человек.
Есть свидетельствования, что в то время в Рудне были 523 деревянных и 6 каменных построек, земская больница, почтово-телеграфная контора, 2 православные церкви, 2 церковно-приходских школы, высшее начальное училище (велась подготовка учителей чиновников), а также двухклассное и трехклассное училища (готовили писарей, счетоводов). Управление здесь было как мещанское, так и волостное. В 1919 году Руднянская волость стала частью Смоленского уезда, а спустя 7 лет Рудня стала городом, и уже в 1929 году образовался Руднянский район.