Nel 1966, Harrison sposò una modella, Pattie Boyd, ma divorziarono nel 1971 e non ebbero figli. Boyd lasciò Harrison per stare con il suo amico, il chitarrista Eric Clapton, ma tutti e tre rimasero amici. Harrison si sposò di nuovo nel 1978, con l'americana Olivia Trinidad Arias, che aveva lavorato per la sua casa discografica. Arias divenne la madre del figlio di Harrison, Dhani, il cui nome è composto dai nomi di due note della scala musicale indiana. Dhani è cresciuto per diventare un musicista come suo padre, e ha diretto la band thenewno2. Ha frequentato la Brown University negli Stati Uniti.
Alla fine degli anni '70 Harrison formò una società di produzione cinematografica, la Handmade Films, che produsse film come Life of Brian dei Monty Python e Time Bandits di Terry Gilliam.
I terreni della casa di Harrison, Friar Park, erano stati più o meno aperti al pubblico, fino all'omicidio del suo ex compagno di band John Lennon alla fine del 1980. Harrison era molto ferito e scioccato dalla morte di Lennon, e aveva paura che qualcuno potesse cercare di fare del male a lui o alla sua famiglia. In seguito, i cancelli furono chiusi a chiave e furono affissi avvisi di divieto di accesso. Nel dicembre 1999, un intruso entrò in casa sua e lo pugnalò con un coltello. Harrison e sua moglie Olivia fermarono l'intruso e chiamarono la polizia. Harrison si riprese. L'uomo che lo ha attaccato è schizofrenico ed è stato assolto per tentato omicidio per infermità mentale nel novembre 2000 alla Oxford Crown Court. Fu mandato in un ospedale psichiatrico e rilasciato nel 2002.