Il 4 marzo 2004, Köhler si è dimesso dalle sue funzioni, perché è stato nominato candidato alla presidenza. Köhler ha sconfitto Gesine Schwan al primo scrutinio con 604 voti favorevoli e 580 voti contrari. Sono stati espressi 20 voti per i candidati minori, mentre un elettore è stato assente per un attacco di cuore. Köhler è succeduto a Johannes Rau come presidente il 1° luglio 2004, per un mandato di cinque anni. La presidenza tedesca è una carica prevalentemente cerimoniale. Tuttavia, è anche investita di una notevole autorità morale. Dal 2004 fino all'inizio del 2006, il Palazzo di Charlottenburg è stato la sede del presidente della Germania. Questo perché lo Schloss Bellevue è stato ristrutturato.
Alla sua elezione, Köhler ha detto che "il patriottismo e l'essere cosmopoliti non sono opposti". Presentando le sue visioni per la Germania, Köhler ha anche detto che "la Germania dovrebbe diventare una terra di idee".
Nel luglio 2005 ha sospeso il Bundestag su richiesta del Cancelliere Gerhard Schröder. Schröder aveva perso una mozione di fiducia nel Bundestag. Ciò ha portato a un'elezione anticipata del Bundestag nel settembre 2005.
Nell'ottobre 2006 ha preso una decisione di ampia portata ponendo il veto su un disegno di legge. Essa avrebbe trasferito la Deutsche Flugsicherung, l'ente tedesco per la sicurezza aerea, in Germania, in proprietà privata. Il Bundestag approvò questa legge ma, in qualità di presidente, Köhler fu autorizzato a non firmarla se, a suo parere, essa contravviene alla costituzione. Nel dicembre 2006 non ha firmato la legge sull'informazione dei consumatori, perché la costituzione non consente al governo federale di dare istruzioni alle autorità comunali. Questo può essere fatto solo dai Länder tedeschi. In precedenza, il presidente tedesco aveva scelto di respingere i progetti di legge solo in sei occasioni. Nella maggior parte dei casi si trattava di leggi meno importanti. I suoi veti sono stati i primi esempi degni di nota nella storia recente della Germania.
Nel suo discorso di Natale 2007 alla nazione, Köhler ha esortato il governo a procedere più rapidamente con le riforme. Ha inoltre criticato l'introduzione del salario minimo nel settore postale, affermando che "un salario minimo che non può essere pagato da datori di lavoro competitivi distrugge posti di lavoro".
Il 22 maggio 2008, Köhler ha detto, che vuole essere il candidato per un secondo mandato come presidente. Il 23 maggio 2009 è stato rieletto dall'Assemblea federale e il 1° luglio 2009 ha prestato giuramento per un secondo mandato.
Nel novembre 2009 Köhler ha rifiutato di firmare la "Zugangserschwerungsgesetz" (legge sull'impedimento all'accesso) senza ulteriori informazioni. La legge, che mira a rendere più difficile l'accesso a siti sul World Wide Web con materiale pedopornografico, è considerata da molti giuristi incostituzionale.
Dimissioni
Il 31 maggio 2010, Köhler ha annunciato le sue dimissioni da presidente della Germania. Ciò è avvenuto dopo che i politici tedeschi hanno criticato i commenti di Köhler in relazione agli schieramenti militari d'oltremare:
È stato criticato per aver dichiarato che le missioni militari tedesche all'estero servivano anche a garantire il commercio. In seguito ha dichiarato che i suoi commenti si riferivano alla pirateria al largo delle coste somale. Köhler ha dichiarato che non c'è sostanza nelle accuse che nell'intervista ha superato il suo ruolo formale favorendo una posizione incostituzionale. Dopo non aver ottenuto alcun sostegno nella controversia, Köhler si è dimesso il 31 maggio 2010. Ha fatto una dichiarazione dicendo: "Dichiaro le mie dimissioni dalla carica di presidente, con effetto immediato". Le dimissioni sono state considerate una "sorpresa". Nei giorni successivi è stato criticato per non essere stato in grado di gestire le critiche, pur essendo egli stesso un critico rigoroso. Il suo atto di dimissioni immediate, senza precedenti, è stato considerato anche come una mancanza di rispetto per la sua posizione.
Come scritto nella costituzione tedesca, i poteri della carica vacante sono stati eseguiti dall'attuale presidente del Bundesrat, Jens Böhrnsen, fino all'elezione di Christian Wulff a presidente il 30 giugno 2010.