La foce del fiume Don è stata molto importante fin dall'antichità. È stata importante per motivi culturali e per il commercio. La colonia greca Tanais era lì, e anche il forte genovese Tana. Più tardi l'Impero Ottomano vi costruì una fortezza. Questa fortezza si chiamava Azov.
Rostov-on-Don è stata fondata nel 1749. In quell'anno fu costruita una casa doganale sul Don. Più tardi, seguì una grande fortezza. Prende il nome da San Dmitrij di Rostov. Dmitrij di Rostov era un vescovo della vecchia città settentrionale di Rostov il Grande. Con il tempo, l'importanza della fortezza Asov divenne sempre meno importante. L'insediamento vicino alla fortezza divenne più importante della fortezza. Era il centro commerciale della regione. Nel 1796 questo insediamento ricevette i diritti di città e fu rinominato Rostov-on-Don.
Il fiume Don, che la città si chiama afrer, è una delle principali vie di navigazione. Collega la Russia sudoccidentale con le regioni a nord. Rostov-on-Don è un importante porto fluviale sia per la gente che per la navigazione industriale. Con una così buona posizione geografica, la città è cresciuta rapidamente. È la città più industrializzata della Russia meridionale. Per questo motivo, la città ha causato un grosso problema tra i bianchi e i bolscevichi durante la guerra civile. Nel 1928, il governo regionale fu trasferito dalla vecchia capitale cosacca Novocherkassk a Rostov. La vicina città armena di Nor Nakhijevan divenne parte della città.
Negli anni sovietici i bolscevichi distrussero due dei principali punti di riferimento di Rostov: la Cattedrale di Sant'Alessandro Nevskij (1908) e la Cattedrale di San Giorgio a Nakhichevan (1783-1807). Gran parte della città fu distrutta dalle forze tedesche che ne presero il controllo per tre volte - nel 1918, 1941 e 1942. Oggi, la parte più notevole della città storica è la grande Cattedrale della Natività della Vergine (1860-87), progettata da Konstantin Thon.
La città era anche la patria del più noto serial killer russo Andrei Chikatilo, ma in realtà non vi era nato.
Rostov-on-Don ha avuto una forte crescita economica negli ultimi anni. In parte perché l'economia russa si sta rafforzando. Molte nuove aziende hanno costruito la loro sede centrale in città. La gente che vive in città sta guadagnando più soldi di quanto non facesse in passato. La città si sta trasformando da un luogo gettato indietro nel tempo dal crollo del comunismo a una città moderna, industriale e ricca di tecnologia.