Il Giappone è stato il primo paese a costruire linee ferroviarie per viaggi ad alta velocità. Poiché il Giappone ha molte montagne, la rete che già esisteva era fatta di linee a scartamento ridotto da 3'6" (1067 mm), che tendevano a prendere percorsi non diretti e non potevano essere adattati a velocità più elevate. A causa di questo, il Giappone aveva un bisogno maggiore di nuove linee ad alta velocità rispetto ai paesi in cui il sistema ferroviario esistente a scartamento standard o largo poteva essere aggiornato facilmente. A differenza delle linee più vecchie, le linee Shinkansen sono a scartamento standard e usano tunnel e viadotti per attraversare e superare gli ostacoli, piuttosto che aggirarli.
La costruzione della prima sezione del Tokaido Shinkansen tra Tokyo e Osaka iniziò nel 1959. La linea fu inaugurata il 1° ottobre 1964, giusto in tempo per le Olimpiadi di Tokyo. La linea fu un successo immediato, raggiungendo la soglia dei 100 milioni di passeggeri in meno di tre anni il 13 luglio 1967 e un miliardo di passeggeri nel 1976.
I primi treni Shinkansen viaggiavano a velocità fino a 200 km/h (125 mph), poi aumentate a 220 km/h (135 mph). Alcuni di questi treni, con il loro classico aspetto a naso di proiettile, sono ancora in uso per i servizi di fermata tra Hakata e Osaka. Una vettura di guida di uno dei treni originali si trova ora al British National Railway Museum di York.
Molti modelli di treno più avanzati seguirono il primo tipo, generalmente ognuno con il proprio aspetto distintivo. I treni Shinkansen ora viaggiano regolarmente a velocità fino a 300 km/h (185 mph), mettendoli tra i treni più veloci del mondo, insieme ai treni francesi TGV e tedeschi ICE.
Originariamente destinate a trasportare treni passeggeri e merci di giorno e di notte, le linee Shinkansen trasportano solo treni passeggeri. Il sistema si spegne tra mezzanotte e le 6:00 ogni giorno per permettere la manutenzione, compresa la circolazione dei treni di prova Doctor Yellow. I pochi treni notturni che ancora circolano in Giappone viaggiano sulla vecchia rete a scartamento ridotto a cui lo Shinkansen corre parallelamente.
Nel 2003, JR Tokai ha riferito che l'orario medio di arrivo dello Shinkansen era entro 6 secondi dall'orario previsto. Questo include tutti gli incidenti ed errori naturali e umani ed è calcolato su circa 160.000 viaggi fatti dallo Shinkansen. Il record precedente era del 1997 ed era di 18 secondi.
Il primo deragliamento di un treno Shinkansen in servizio passeggeri è avvenuto durante il terremoto di Chuetsu il 23 ottobre 2004. 6 degli 8 vagoni totali del treno sul Joetsu Shinkansen deragliarono vicino alla stazione di Nagaoka a Nagaoka, Niigata.