Columbia si trova sulla linea di caduta dei monti Appalachi. La linea di caduta è il punto in cui le barche non possono viaggiare più a monte, ed è anche il punto più a valle dove l'acqua che cade può utilmente alimentare un mulino.
La capitale dello stato prima del 1790 era Charleston, sulla costa dell'Oceano Atlantico. Nel 1786, la legislatura decise di spostare la capitale al centro dello stato, e il sito di Columbia fu scelto per la sua posizione sul fiume a sole 13 miglia (21 km) a nord-ovest del centro geografico della Carolina del Sud. La legislatura statale si riunì lì per la prima volta nel 1790. Dopo essere rimasta sotto il governo diretto della legislatura per i primi due decenni della sua esistenza, Columbia fu incorporata come villaggio nel 1805 e poi come città nel 1854. Columbia ricevette un grande stimolo allo sviluppo quando fu collegata in una via d'acqua diretta a Charleston, dal canale Santee. Questo canale collegava i fiumi Santee e Cooper in un tratto di 22 miglia (35 km). Fu noleggiato per la prima volta nel 1786 e completato nel 1800, rendendolo uno dei primi canali degli Stati Uniti. Con l'aumento del traffico ferroviario, cessò di funzionare intorno al 1850.
Columbia è stata una delle prime città pianificate negli Stati Uniti. È nota per le sue ampie strade.
Il 17 febbraio 1865, durante la guerra civile, un incendio distrusse gran parte di Columbia mentre era occupata dalle truppe dell'Unione sotto il comando del generale William Tecumseh Sherman.
Il 20° secolo vide Columbia emergere come un centro regionale di produzione tessile. Negli anni '20, gli uomini d'affari di Columbia costruirono una grande diga sul fiume Saluda per produrre energia idroelettrica. La diga, utilizzando il suolo di argilla rossa nativa e il bedrock, era la più grande diga di terra nel mondo quando fu completata nel 1930. Il lago Murray, formato dalla diga, è lungo 41 miglia (66 km) e largo 14 miglia (23 km) nel suo punto più largo. Al tempo in cui il lago fu finito, era il più grande bacino artificiale del mondo. L'azienda che ha costruito la diga è cresciuta fino a diventare la SCANA Corporation, uno dei più grandi datori di lavoro della Columbia.
La città di Columbia ha recentemente realizzato una serie di progetti di riqualificazione e ne ha molti altri in programma. Lo storico Congaree Vista, un distretto di 1.200 acri (5 km2) che va dal quartiere centrale degli affari verso il fiume Congaree, presenta una serie di edifici storici che sono stati riabilitati.