Los Angeles / St. Louis Rams
Fu disegnato (selezionato) come 15ª scelta assoluta (1° giro) del Draft NFL 1994 dai L.A. Rams. Gandy trascorse cinque stagioni con i Rams.
Pittsburgh Steelers
Gandy ha trascorso quattro stagioni con i Pittsburgh Steelers dal 1999 al 2002.
I Saints di New Orleans
Il 2 marzo 2003, Gandy firmò un contratto di sei anni con i New Orleans Saints. Dopo tre stagioni con i Saints, fu scambiato con gli Atlanta Falcons il 7 aprile 2006 per la sicurezza Bryan Scott e una scelta del draft.
Atlanta Falcons
Per la stagione 2007, Gandy fu nominato come uno dei capitani della squadra dei Falcons. Il 7 ottobre, Gandy si fece male al ginocchio sinistro mentre giocava contro i Tennessee Titans; si strappò quello che viene chiamato legamento crociato anteriore, che gli impedì di giocare altre partite per il resto della stagione.
Il 15 febbraio 2008 i Falcons lo rilasciarono. Fu rifirmato il 29 ottobre dopo un infortunio all'offensive tackle Sam Baker ma non fu dimesso dai Falcons nella offseason.