Charles Ryder, che racconta la storia, è uno studente dell'Università di Oxford. Fa amicizia con Sebastian Flyte, il figlio minore di una famiglia aristocratica. Sebastian, che proviene da una famiglia molto ricca, porta Charles alla casa della sua famiglia, il castello Brideshead. Charles incontra la sua famiglia, compresa la sorella di Sebastian, Julia.
Durante le vacanze Charles torna a casa sua, dove vive con suo padre. Durante le vacanze Sebastian ha un piccolo infortunio e Charles torna da lui. Sebastian e Charles passano il resto dell'estate insieme.
La famiglia di Sebastian è cattolica. Suo padre, Lord Marchmain, era stato anglicano, ma si era convertito al cattolicesimo romano, la religione di sua moglie. La famiglia parla molto di religione, il che sorprende Charles, che ha sempre pensato che il cristianesimo non fosse un argomento importante. Lady Marchmain, la madre di Sebastian, è una cattolica molto rigida. Cerca di controllare gli altri facendoli sentire in colpa. Sebastian trova conforto bevendo alcol. Si ubriaca spesso, e per un periodo di due anni ha sempre meno a che fare con la famiglia Flyte.
Tuttavia, Charles è destinato a incontrare di nuovo la famiglia Flyte, e si innamora di Julia, che a quel punto è sposata con un ricco canadese, Rex Mottram.
La moglie di Charles è stata infedele, così lui progetta di divorziare da lei in modo che lui e Julia possano sposarsi. Tuttavia, Julia decide per motivi religiosi che non sarebbe giusto per lei sposare Charles. Mentre Lord Marchmain stava morendo, aveva ricevuto il sacramento dell'Estrema Unzione. Questo atto aveva anche influenzato Charles, che era stato "alla ricerca dell'amore in quei giorni" quando incontrò per la prima volta Sebastian, "quella porta bassa nel muro... che si apriva su un giardino chiuso e incantato", una metafora importante nel libro.
Carlo diventa un architetto. Durante la seconda guerra mondiale diventa un ufficiale dell'esercito. Per caso viene alloggiato a Brideshead. Gli sembra che i costruttori facciano un lavoro utile, anche se a volte ci sono problemi.
