Dopo aver suonato alcuni piccoli concerti in tutta l'Inghilterra, la band uscì con il suo primo album, chiamato Led Zeppelin I. Il talento di John Bonham può essere ascoltato in canzoni come "Good Times, Bad Times", con il suo singolo salto di grancassa per tutta la canzone. Poco dopo, la band partì per un tour in America, il giorno di Santo Stefano (26 dicembre 1969). Dopo un tour di discreto successo, gli Zeppelin uscirono con il loro secondo album, chiamandolo Led Zeppelin II. Questo album includeva la canzone "Moby Dick", che aveva un famoso assolo di batteria di Bonham. Durante l'assolo, Bonham mostrò il suo talento suonando la batteria a mano mentre continuava ad usare il suo piede destro.
A questo punto, i Led Zeppelin stavano diventando più conosciuti. Con l'uscita del loro terzo album (non a caso chiamato Led Zeppelin III), diventarono una delle più grandi band del mondo. La canzone di Bonham su questo album, che scrisse, fu "Out On The Tiles".
I Led Zeppelin pubblicarono in seguito gli album Led Zeppelin IV (originariamente senza nome), Houses of the Holy e Physical Graffiti. Durante questo periodo, gli Zeppelin erano in tour senza sosta. Oltre a suonare ancora "Moby Dick", Bonham ricevette attenzione per il suo lavoro su canzoni come "Four Sticks", "The Ocean" e "In My Time Of Dying".
Poco dopo Physical Graffiti, la band si prese una pausa perché Robert Plant rimase ferito in un incidente d'auto. In questo tempo libero, oltre a passare il tempo con la sua famiglia e ad armeggiare con le macchine, Bonham stava lavorando al loro prossimo album, Presence.