Pada tanggal 4 Maret 2004, Köhler mengundurkan diri dari jabatannya, karena ia dicalonkan sebagai kandidat presiden. Köhler mengalahkan Gesine Schwan pada pemungutan suara pertama dengan 604 suara berbanding 580. 20 suara diberikan untuk kandidat minor, sementara satu pemilih tidak hadir karena serangan jantung. Köhler menggantikan Johannes Rau sebagai Presiden pada 1 Juli 2004, untuk masa jabatan lima tahun. Kepresidenan Jerman sebagian besar merupakan jabatan seremonial. Namun, jabatan ini juga memiliki otoritas moral yang cukup besar. Dari tahun 2004 hingga awal 2006, Istana Charlottenburg adalah tempat kedudukan Presiden Jerman. Hal ini karena Schloss Bellevue telah direnovasi.
Setelah terpilih, Köhler mengatakan bahwa "Patriotisme dan kosmopolitan bukanlah dua hal yang berlawanan". Mempresentasikan visinya untuk Jerman, Köhler juga mengatakan bahwa "Jerman harus menjadi tanah ide".
Pada bulan Juli 2005, ia menangguhkan Bundestag atas permintaan Kanselir Gerhard Schröder. Schröder telah kehilangan mosi percaya di Bundestag. Hal ini menyebabkan pemilihan awal untuk Bundestag pada bulan September 2005.
Pada bulan Oktober 2006, dia membuat keputusan yang jauh jangkauannya dengan memveto sebuah rancangan undang-undang. RUU itu akan mengalihkan Administrasi Keselamatan Udara Jerman Deutsche Flugsicherung ke dalam kepemilikan swasta. Bundestag meloloskan undang-undang ini, tetapi sebagai Presiden, Köhler diberi wewenang untuk tidak menandatanganinya menjadi undang-undang jika, menurut pendapatnya, hal itu bertentangan dengan konstitusi. Pada bulan Desember 2006, ia tidak menandatangani Undang-Undang Informasi Konsumen, karena konstitusi tidak mengizinkan pemerintah federal untuk menginstruksikan otoritas kota. Hal ini hanya dapat dilakukan oleh negara bagian Jerman. Hanya ada enam kejadian sebelumnya ketika presiden Jerman memilih untuk menolak undang-undang. Dalam kebanyakan kasus, undang-undang yang terlibat tidak terlalu penting. Vetonya adalah contoh penting pertama dalam sejarah Jerman baru-baru ini.
Dalam pidato Natal tahun 2007 kepada bangsa, Köhler mendesak pemerintah untuk mendorong reformasi lebih cepat. Dia juga mengkritik pemberlakuan upah minimum di sektor pos, dengan menyatakan bahwa "upah minimum yang tidak dapat dibayarkan oleh pengusaha yang kompetitif akan menghancurkan pekerjaan".
Pada tanggal 22 Mei 2008, Köhler mengatakan, bahwa ia ingin menjadi kandidat untuk masa jabatan kedua sebagai presiden. Pada tanggal 23 Mei 2009, ia dipilih kembali oleh Majelis Federal, dan dilantik untuk masa jabatan kedua pada tanggal 1 Juli 2009.
Pada bulan November 2009, Köhler menolak untuk menandatangani "Zugangserschwerungsgesetz" (Undang-Undang Penghalang Akses) menjadi undang-undang tanpa informasi lebih lanjut. Undang-undang tersebut, yang bertujuan untuk mempersulit akses ke situs-situs di World Wide Web yang memuat pornografi anak, dianggap oleh banyak pakar hukum sebagai inkonstitusional.
Pengunduran diri
Pada tanggal 31 Mei 2010, Köhler mengumumkan pengunduran dirinya sebagai Presiden Jerman. Hal ini terjadi setelah politisi Jerman mengkritik komentar yang dibuat oleh Köhler sehubungan dengan pengerahan militer di luar negeri:
Dia mendapat kritik atas pernyataannya bahwa misi militer Jerman di luar negeri juga berfungsi untuk mengamankan perdagangan. Ia kemudian menyatakan bahwa komentarnya merujuk pada pembajakan di lepas pantai Somalia. Köhler menyatakan bahwa tidak ada substansi untuk tuduhan bahwa dalam wawancara tersebut ia telah melampaui peran formalnya dengan mendukung posisi yang tidak konstitusional. Setelah tidak mendapatkan dukungan dalam perselisihan tersebut, Köhler mengundurkan diri pada tanggal 31 Mei 2010. Dia membuat pernyataan yang berbunyi "Saya menyatakan pengunduran diri saya dari jabatan Presiden, dengan segera." Pengunduran diri itu dianggap sebagai "kejutan". Hari-hari berikutnya, ia dikritik karena tidak mampu menangani kritik, padahal ia sendiri adalah seorang pengkritik yang keras. Tindakan pengunduran dirinya yang belum pernah terjadi sebelumnya juga dianggap menunjukkan kurangnya rasa hormat terhadap posisinya.
Seperti yang tertulis dalam konstitusi Jerman, kekuasaan jabatan yang kosong dijalankan oleh Presiden Bundesrat saat ini, Jens Böhrnsen, sampai Christian Wulff terpilih sebagai presiden pada tanggal 30 Juni 2010.