В середине XVII века царской властью стали возводиться многочисленные укрепления окраин русских земель. Одна из наиболее крупных укрепленных цепей, состоящих из множества острогов – Атеманская засечная черта, протянувшаяся от Белгорода до Симбирска. Частью этой черты стал новый острожек, который назвали «Саранским».
Слово «Саранск» имеет чисто мордовские корни. «Сара» на большинстве финно-угорских языков означает «болото», «болотистая местность». Так мордва, финны, эстонцы, карелы называют участки земли, испещренные множественными ручейками, болотцами, поймами. Заболоченностью отличается как вся современная Мордовия, так и окрестности саранской крепости. Поэтому корень «сар» встречается во многих мокшанских и эрзянских топонимах – речки Саранка, Инсар, деревеньки Сарка, Сарга, Сарпомра, Санаксара.
Саранский острог был построен в 1641 году, на малозаселенных землях, при слиянии рек Сралей и Инсар. В крепости разместился четвертьтысячный гарнизон во главе с воеводой – казаки, пушкари и стрельцы. Стены крепости были сложены из дубовых брусьев, на их изломах установили восемь башен с пушками, а еще одна башня стояла посредине острога. Стены были окружены мощным земляным валом и рвом.