La storia si svolge in un momento in cui la Spagna sta appena arrivando alla fine di una guerra con la Francia. È stato concordato tra i due Paesi che Don Carlos, erede al trono di Spagna, sposerà Elisabetta, figlia del re di Francia.
Atto I
Don Carlos vuole vedere la ragazza che sposerà. Va in Francia e, in segreto, si unisce ad una caccia reale a cui partecipa Elisabetta. Elisabetta e il suo paggio sono separati dagli altri. Carlos le parla e si offre di portarla a casa. La principessa gli chiede del principe che sposerà. Carlos dice che non deve preoccuparsi perché il principe è gentile e innamorato di lei. Poi mostra ad Elisabetta una foto del principe, e poi Elisabetta si rende conto che è il principe con cui sta parlando. Cantano un duetto d'amore.
Alcuni funzionari spagnoli vengono poi a dire a Elisabetta che è stato deciso che non sposerà il principe: sposerà suo padre, il re di Spagna. I due amanti sono costernati da questa notizia. La folla di persone supplica Elisabetta di accettare di sposare il re di Spagna, in modo che la guerra finisca. Alla fine lei accetta.
Atto II
Don Carlos è andato in un monastero per poter stare tranquillo nella sua miseria. Suo nonno, Carlo V, aveva trascorso i suoi ultimi giorni in questo monastero. Un monaco gli parla. Carlos pensa che il monaco assomigli a suo nonno.
Carlos è pieno di gioia quando arriva il suo amico Rodrigue. È appena tornato dalle Fiandre, dove si combatte ancora molto. Carlos gli svela un segreto: che è innamorato di Elisabetta, che ha sposato suo padre ed è quindi la regina di Spagna. Rodrigue gli dice che dovrebbe passare il suo tempo ad aiutare la povera gente delle Fiandre. Il re e la regina passano davanti alla tomba.
Quando la Regina lascia la chiesa si reca nel giardino dove la aspettano le sue dame. Un messaggero le consegna una lettera di sua madre a Parigi, ma allo stesso tempo le consegna segretamente una lettera di Carlos. Rodrigue parla tranquillamente con Eboli, la dama di compagnia della regina, mentre la regina legge le lettere. Rodrigue chiede alla regina di cercare di convincere il re a lasciar parlare Carlos con lui. Eboli è innamorata di Carlos. Ha notato come Carlos si sia agitato quando si è trovato alla presenza della regina, e pensa che sia perché Carlos la ama (Eboli).
A Carlos viene data la possibilità di incontrare Elisabeth in privato. Le chiede con calma se può convincere il re a mandarlo nelle Fiandre. Tuttavia, non è molto calmo, e ben presto inizia ad essere arrabbiato con lei per non aver mostrato alcun sentimento d'amore nei suoi confronti. Lei gli dice che è suo dovere, ora che è regina. Carlos capisce, ma è ancora innamorato di lei. Cade ai suoi piedi. La afferra e le dichiara il suo amore per lei, ma la regina gli si strappa e lui si precipita in preda alla disperazione.
I Re escono dalla chiesa. È molto arrabbiato perché sua moglie è stata lasciata sola. Dice alla dama in attesa di andarsene. La Regina la conforta. Poi lei e le sue dame se ne vanno.
Rodrigue chiede al Re di smettere di combattere contro il popolo delle Fiandre che sta ancora morendo e morendo di fame. Il Re dice che non sono stati fedeli e che meritano di essere puniti. Dice a Rodrigue che ha paura di quello che sta succedendo tra Elisabetta e Carlos. Gli dice di essere consapevole dell'Inquisizione.
Atto III
Un ballo in maschera si svolge nel palazzo di Madrid. Carlos vi aspetta nel giardino della Regina. Una signora arriva in giardino, con una maschera, come tutti gli altri. Pensa che sia la Regina e le dice quanto la ama. Quando la signora si toglie la maschera, si accorge che è Eboni. Lei lo accusa di amare la Regina. In quel momento arriva Rodrigue. Dice a Eboni che Carlos non sta bene e non capisce di cosa sta parlando. Ma Eboni non si fa ingannare e progetta di rovinare la loro storia d'amore.
La seconda scena dell'atto si svolge in una piazza di Madrid. Si sta preparando un auto-da-fé. Ai tempi dell'Inquisizione spagnola si trattava di una cerimonia in cui chi non era d'accordo con la chiesa cattolica veniva bruciato a morte. Entrano i monaci, seguiti dagli sfortunati che stanno per essere bruciati. Il popolo canta delle glorie della Spagna. Re Filippo appare e ripete come combatterà contro chiunque sia nemico della Chiesa cattolica. Sei persone, tra cui Carlos, appaiono e si gettano ai suoi piedi, implorandolo di impedire alle sue truppe di uccidere il popolo fiammingo. Il Re non ne sentirà parlare. Alcuni della folla sostengono il re, ma altri lo supplicano di avere pietà. Carlos chiede allora a suo padre di permettergli di governare le Fiandre per lui. Il re non lo permette, perché si rende conto che questa potrebbe essere un'opportunità per Carlos e per il popolo fiammingo di sollevarsi contro di lui. Carlos è disperato. Estrae la spada e dice che salverà le Fiandre. La folla è terrorizzata nel vederlo comportarsi così davanti al re. Il Re ordina ai suoi soldati di togliere la spada a Carlos, ma nessuno gli obbedisce. Alla fine, Rodrigue (che si rende conto che questo sarà un male per lui) salva la situazione chiedendo con calma a Carlos la spada. Lui la consegna e Rodrigue la dà al re. I monaci procedono più lontano, e una voce dal cielo promette la pace nel mondo a venire.
ActIV
Il Re è solo in chiesa. In una meravigliosa aria canta la sua tristezza per il fatto che sua moglie non sembra amarlo. Entra il Grande Inquisitore. È molto vecchio e cieco. Il Re gli parla di suo figlio e chiede all'Inquisitore se Carlos deve essere perdonato o condannato a morte. L'Inquisitore risponde che è Rodrigue che deve essere ucciso. Il re osa dissentire. L'Inquisitore dice al re che non sta dando il suo cuore a Dio. L'Inquisitore se ne va.
La Regina si precipita e chiede al Re di aiutarla a cercare uno scrigno di gioielli scomparsi dalla sua stanza. Il Re le mostra che è sul tavolo. Le dice che deve aprirlo. Lei lo fa. In alto c'è il ritratto di Carlos. Il Re è molto arrabbiato e la accusa di adulterio. Lei sviene. Il Re chiama Eboli e Rodrigue in aiuto. Il Re è dispiaciuto per i suoi sospetti, ma Eboli è ancora più dispiaciuta perché è stata lei a prendere la bara perché era gelosa di Carlos e di Elisabetta. Era stata lei a suggerire al Re di guardare nello scrigno. Rodrigue sente di poter salvare il suo amico solo offrendo se stesso per essere ucciso al posto di Carlos. Il Re e Rodrigue se ne vanno. Eboni si getta ai piedi della regina, che ora è tornata in vita, e confessa che lei stessa è colpevole di adulterio perché era andata a letto con il re. Elisabetta rimane calma, ma dice a Eboni di allontanarsi da lei per sempre e di vivere in un convento. Quando Eboni viene lasciata sola, esprime i suoi sentimenti di terribile miseria. Prima di andare in convento ha ancora una cosa da fare: cercare di salvare Carlos dall'essere messo a morte.
La seconda scena dell'atto mostra Carlos in prigione. Rodrigue viene da lui. Sa che le lettere fiamminghe indirizzate a Carlos sono state trovate in suo possesso. Qualcuno entra e uccide Rodrigue. Mentre muore, dice a Carlos che la Regina lo aspetterà il giorno dopo fuori dal convento e lo vedrà per l'ultima volta. Muore.
A volte il quarto atto finisce qui, ma alcune rappresentazioni continuano a mostrare una scena in cui il Re cerca di restituire la spada al figlio, ma Carlos lo accusa di aver ucciso il suo amico. Un gruppo di persone, tra cui Eboli, entra nella prigione e grida al Re di liberare Carlos. Appare l'Inquisitore. Dice alla folla con rabbia che sono malvagi ad andare contro la volontà di Dio. Dice a tutti di inginocchiarsi e di pentirsi.
Atto V
Elisabetta si inginocchia davanti alla tomba di Carlo V. Canta della sua giovinezza perduta in Francia (alcune delle musiche del primo atto tornano qui). Prega per la pace. Elisabetta e Carlos si incontrano per l'ultima volta (il loro terzo duetto nell'opera) e augurano tempi più felici. Il Re e l'Inquisitore si sono nascosti. Ora appaiono e afferrano Carlos. Alle guardie viene detto di prenderlo, ma Carlos si difende. Improvvisamente si sente la voce di Carlo V (o di un monaco travestito). Porta suo nipote al sicuro nel chiostro.
