Славяне стали заселять Верхнее Поволжье в Х веке. Уже в XI веке на берегах Волги, Черемухи и Шексны располагались погосты и поселения. В источниках можно найти упоминание поселения «Рыбаньск», которое послужило началом города. Со временем некоторые поселения преобразовались в промысловые и рыболовецкие слободы.
В 1504 году царь Иван III в своем завещании упоминает и Рыбную слободу на Волге. В XVI – XVII веках она была дворцовой, и ее жители должны были платить красной рыбой оброк в оговоренных размерах. Иногда царь передавал слободу своим боярам.
Развитие всероссийского рынка сделало торговлю экономической базой Рыбной слободы, что подтверждает наличие таможни, постоялых дворов для приезжих, торговых площадей, на которых проходили торжки.
Со временем слобода стала превращаться в хлебный рынок.
Благодаря основанию Петербурга и открытию Вышневолоцкой водной системы, сразу увеличилось число грузов, которые шли мимо слободы. Указы, связанные со строительством больших судов, вынуждали данный грузопоток делать остановку у Рыбной слободы.
В начале 18-го в. здесь построили специальную струговую пристань, на которой осуществлялась перевалка грузов на маленькие суда. На берегах Волги стали появляться соляные и хлебные амбары, возросло число постоялых дворов и лавок. Из-за падения рыбного промысла, количество рыбаков сократилось, а число ремесленников и торговцев резко увеличилось.
Образовались новые категории граждан: работные и дворовые, которые служили верхушке посада. Многие жители работали крючниками и грузчиками на пристани, занимались торговлей, ремеслами, строили суда. Сюда стали стекаться многочисленные крестьяне из разных районов страны, которые нанимались в бурлаки и судорабочие на барки.
У богатых купцов было по несколько судов, лавок, амбаров, они могли брать большие казенные подряды по перевозке хлеба, леса, соли.