La Holiday disse che aveva iniziato a fare uso di droghe pesanti nei primi anni '40. Aveva sposato il trombonista Jimmy Monroe il 25 agosto 1941. Quando era ancora sposata con Monroe, iniziò una relazione romantica con il trombettista Joe Guy, che era anche il suo spacciatore. Visse con lui come sua moglie (chiamata moglie di diritto comune) e divorziò da Monroe nel 1947. Si separò anche da Guy. Dopo essere stata arrestata e condannata per possesso di droga nel 1947, non le fu permesso di lavorare nei club di New York per il resto della sua vita. L'unica volta che poté farlo fu quando cantò all'Ebony Club nel 1948, dove aveva il permesso di John Levy.
Negli anni '50, la salute della Holiday divenne cattiva, a causa del consumo di alcol, dell'uso di droghe e delle sue relazioni con uomini violenti. La sua voce divenne ruvida, ma alcune persone dicono che il suo canto divenne più emotivo.
Il 28 marzo 1952, Holiday sposò Louis McKay, un uomo che lavorava per la mafia. McKay, come la maggior parte degli uomini nella sua vita, era violento, ma cercò di farla smettere di usare droghe. In seguito si separarono.
Il 10 novembre 1956, si esibì in due concerti davanti a un grande pubblico alla Carnegie Hall.
Holiday andò in tour in Europa per la prima volta nel 1954 con Buddy DeFranco e Red Norvo. Quando tornò in Europa, quasi cinque anni dopo, andò in televisione per Chelsea at Nine di Granada, a Londra. Questa fu una delle ultime volte che andò in televisione. Le sue ultime registrazioni in studio furono fatte per la MGM nel 1959, con Ray Ellis e la sua Orchestra, che l'aveva anche accompagnata nell'album Lady in Satin della Columbia nel 1958. Le registrazioni MGM furono pubblicate dopo la morte della Holiday in un album chiamato Last Recordings.
L'autobiografia della Holiday, Lady Sings the Blues, fu pubblicata nel 1956. Fu scritta da William Dufty, uno scrittore ed editore del New York Post che era sposato con Maely Dufty, amica intima della Holiday. Scrisse il libro velocemente dopo aver parlato con la Holiday nel suo appartamento, e dopo aver usato precedenti intervistatori. Voleva lasciare che Holiday raccontasse la sua storia a modo suo.
Holiday non ha mai avuto figli propri, ma ha avuto due figliocci: la cantante Billie Lorraine Feather, figlia di Leonard Feather, e Bevan Dufty, figlio di William Dufty.