Основан Рубцовск в 1886. Первоначально это был небольшой поселок Рубцово. Годом же рождения города принято считать 1892, когда жители поселения получили разрешение пользоваться землей. В 1901 Рубцово получает статус посёлка. Жители же его, относящиеся к крестьянскому сословию, получают отдельные земельные наделы.
В 1906 поселение Рубцово вновь меняет свой статус, теперь это село. Изменение статуса дало возможность проведения ярмарок. В 1913 Рубцово ожидает новое изменение статуса. Теперь это станционный посёлок. В это время здесь уже есть свое налаженное промышленное производство: мельница и свечной завод.
Строительство ветки железной дороги дало толчок к развитию торговли и промышленного производства. С установлением Советской власти Рубцово становится волостным центром. В 1923 - это уже уездный центр. А в 1927 Рубцово получает статус города.
В 30-х в городе появляется крупное производство «Мельник», осуществляющее свою деятельность в агропромышленной сфере. Во время эвакуации заводов из Одессы и Харькова (ВО война) в городе зарождается машиностроение. Эвакуированные производства положили начало Алтайскому тракторному заводу и предприятию «Алтайсельмаш».
В 1950-е начался приток населения в быстро растущий сибирский город. Вплоть до 80-х площадь города, население, экономическое развитие росли огромными темпами. В 1990-е происходит резкое ухудшение экономического положения города, многие предприятия закрываются. Только в последние годы наметился небольшой сдвиг в сторону улучшения экономической ситуации.