В создании опрос городского знака (герба Рубцовска) поднимался в 1960, а потом и в 70-е годы. Художники города предлагали разные варианты решения. Ираида Акрамова предложила эскиз, который был опубликован в 1966 в журнале «Техника-молодежи». Герб представлял собой традиционную форму французского щита.
Гербовое пространство делилось диагонально на 2 части: одна из них - зеленого цвета, другая - желтого цвета. НА зеленом поле изображен желтый колос. На желтом поле – платформа, но которой разместились два красных трактора. Основная идея этого эскиза заключалась в выражении славы трудового Рубцовска. Город был знаменит своим производством - продукцией тракторного завода и урожайными полями знаменитых совхозов.
Вопрос о создании герба города вновь был поставлен на повестку дня в связи с необходимостью наличия официальных символов города. Так в 2002 появился гербовый знак Рубцовска, построенный с учетом истории города, его культуры и традиций. За основу взяли эскизный проект С. И. Петрова. Альтернативой ему был проект С. Ю. Гужина.
Итогом стало решение принять эскиз герба, который представлял собой традиционный щит с солнечным кругом в центре. На нем часть шестерни – символ машиностроительного производства Рубцовска, и свиток с изображенной на нем датой рождения города. Реку Алей символизирует синяя лента. Верхняя часть имеет изображение сокола, летящего над полем золотой пшеницы, по которому движется трактор.