"Yellow" è stato scritto in uno studio Rockfield in Galles. Lo studio si chiama Quadrangle. È dove i Coldplay iniziarono a lavorare al loro primo album, Parachutes. Una notte dopo aver finito di registrare "Shiver", il singolo principale dell'album, la band fece una pausa e uscì dallo studio. Fuori, c'erano poche luci accese e le stelle nel cielo erano visibili e "semplicemente incredibili", secondo il co-produttore della canzone, Ken Nelson. Disse alla band di guardare le stelle. La band guardò le stelle e si sentì generalmente ispirata. La melodia principale della canzone è venuta in mente a Chris Martin, il cantante della band. La melodia era un motivo di accordi. All'inizio, Martin non la prese seriamente "mentre trasmetteva la melodia al resto della band con la sua peggiore voce da imitazione di Neil Young". Martin ha detto: "La canzone aveva la parola 'stars' e sembrava una parola che si dovesse cantare con la voce di Neil Young". La melodia "partiva molto più lenta" secondo Will Champion, il batterista della band, e suonava come una canzone di Neil Young. Non molto tempo dopo, nonostante non prendesse sul serio la canzone, l'idea di Martin ha funzionato quando ha sviluppato il tempo della strofa. Quando Jonny Buckland, il chitarrista della band, iniziò a suonarla e vi aggiunse le sue idee, avevano creato il riff, "e divenne un po' più pesante".
Mentre componeva il testo della canzone, però, Martin non riusciva a trovare le parole giuste. Stava pensando ad una parola specifica che si adattasse all'idea principale e al tema della canzone. Pensava che questa parola mancante fosse una parola chiave nel testo. Si guardò intorno nello studio e trovò l'elenco telefonico Pagine Gialle. Martin in seguito intitolò la canzone "Yellow" come riferimento all'elenco. Ma secondo lui, "In un universo alternativo, questa canzone potrebbe essere chiamata 'Playboy'". Il testo è progredito da lì con la collaborazione della band. Il bassista della band, Guy Berryman, se ne uscì con la frase di apertura "Look at the stars". Quella notte, dopo aver composto rapidamente la canzone, la band la registrò.