Nel dicembre 2001, Perdue si è dimesso dalla carica di senatore statale per potersi candidare alla carica di governatore. Ha vinto le elezioni governatoriali in Georgia del 2002, sconfiggendo il democratico in carica Roy Barnes, 51% a 46%, con il candidato libertario Garrett Michael Hayes che prese il 2% dei voti. È diventato il primo governatore repubblicano della Georgia in oltre 130 anni dai tempi di Benjamin F. Conley.
Come governatore, Perdue ha guidato le riforme progettate per tagliare gli sprechi nel governo, in particolare la vendita di veicoli e beni immobili in eccesso. Ha aiutato la Georgia a risalire dall'ultimo posto nel paese nei punteggi SAT. Anche se è tornata all'ultimo posto nel 2005, la Georgia è salita al 49° posto nel 2006 nel punteggio medio combinato di matematica e lettura, compresa la parte scritta aggiunta al test quell'anno. Perdue ha anche creato ulteriori opportunità per le scuole charter e le scuole private. Nel 2006, Perdue ha firmato una legge che ha dato alla Georgia "alcune delle misure più dure della nazione contro l'immigrazione illegale".
Nel 2006, Perdue è stato rieletto per un secondo mandato nelle elezioni governatoriali della Georgia del 2006, vincendo quasi il 58% dei voti. Il suo avversario democratico era il vice governatore Mark Taylor. Anche il libertario Garrett Michael Hayes era sulla scheda elettorale.
2007 preghiera per la pioggia
Il 13 novembre 2007, mentre la Georgia soffriva di una delle peggiori siccità degli ultimi decenni, Perdue ha guidato un gruppo di diverse centinaia di persone in una preghiera sui gradini del Campidoglio. Perdue si è rivolto alla folla dicendo: "Siamo venuti qui insieme semplicemente per una e una sola ragione: Per pregare molto riverentemente e rispettosamente per una tempesta" e "Dio, abbiamo bisogno di te; abbiamo bisogno di pioggia".
