L'idea dei cannoni ferroviari fu suggerita per la prima volta negli anni 1860 da un certo signor Anderson. Egli pubblicò un pamphlet nel Regno Unito intitolato National Defence in cui proponeva un piano di carrozze ferroviarie blindate. Un russo, Lebedew, sostenne di aver inventato per primo l'idea nel 1860 quando si dice che abbia montato un mortaio su un vagone ferroviario. []
Il primo cannone ferroviario usato in battaglia fu un fucile navale Brooke da 32 libbre. Nella guerra civile americana fu montato su un vagone ferroviario piatto e protetto con lastre di ferro. Il 29 giugno 1862, Robert E. Lee fece spingere il cannone da una locomotiva sulla linea di Richmond e York River (poi parte della Southern Railway) e lo usò nella battaglia di Savage's Station. C'è anche una foto di un mortaio d'assedio da 13 pollici dell'Unione montato su un vagone ferroviario durante l'assedio di Petersburg, Virginia. Era soprannominato il Dittatore o il Petersburg Express.
I cannoni ferroviari furono usati dalla Francia durante l'assedio di Parigi nel 1870, e dagli inglesi durante l'assedio di Ladysmith nella seconda guerra boera.
La prima guerra mondiale
La Germania aveva già alcuni cannoni Big Bertha all'inizio della prima guerra mondiale, ma i francesi avevano una carenza di artiglieria pesante da campo. Grandi cannoni di difesa costiera e cannoni navali furono spostati al fronte. Questi erano di solito inadatti all'uso sul campo e avevano bisogno di qualche tipo di montaggio. Il cannone ferroviario era una soluzione ovvia. Nel 1916, entrambe le parti usavano cannoni ferroviari.
Baldwin Locomotive Works costruì cinque cannoni ferroviari calibro 14"/50 su treni per la Marina degli Stati Uniti durante l'aprile e il maggio 1918. Ogni treno trasportava un cannone Mk 4 calibro 14"/50. Si trattava di un fucile navale da 14 pollici (360 mm) usato sulle corazzate classe New Mexico e Tennessee, montato su un carrello ferroviario con quattro carrelli a 6 ruote. Uno di questi cannoni è esposto fuori dal museo al Washington Navy Yard.
Seconda Guerra Mondiale
La seconda guerra mondiale vide l'uso finale dei cannoni ferroviari. I tedeschi usarono il massiccio cannone Schwerer Gustav da 80 cm, il più grande pezzo di artiglieria usato in battaglia. L'ascesa dell'aeroplano pose effettivamente fine all'uso dei cannoni ferroviari. Come le corazzate, erano grandi, costosi e facilmente distrutti dall'aria.