Leahy terpilih menjadi anggota Senat Amerika Serikat untuk pertama kalinya pada tahun 1974, menggantikan petahana George Aiken yang telah pensiun selama 34 tahun. Pada usia 34 tahun, ia adalah Senator termuda dalam sejarah Vermont. Leahy hampir dikalahkan pada tahun 1980 oleh Stewart Ledbetter dari Partai Republik, menang hanya dengan 2.700 suara di tengah kemenangan telak Ronald Reagan. Pada tahun 1986, ia menghadapi penantang yang lebih kuat dalam diri mantan gubernur Richard Snelling, tetapi Leahy membalikkan tantangan ini, mengambil 63 persen suara. Pada tahun 1992, ia menghadapi lawan lain dalam diri Sekretaris Negara Bagian Vermont Jim Douglas, menang dengan 11 poin.
Leahy adalah Senator non-Republik pertama dari Vermont sejak 1856. Hingga hari ini, dia adalah satu-satunya Demokrat yang pernah terpilih menjadi Senat dari Vermont. Dia secara teknis adalah salah satu dari hanya tiga Demokrat yang mewakili Vermont di kedua majelis Kongres sejak akhir Perang Saudara.
Karier selanjutnya
Maret 2004, Leahy dan Orrin Hatch memperkenalkan Pirate Act yang didukung oleh RIAA. Pada bulan Juli 2004, Leahy dan Hatch memperkenalkan INDUCE Act. Keduanya ditujukan untuk memerangi pelanggaran hak cipta.
Pada tanggal 2 November 2004, Leahy dengan mudah mengalahkan lawannya, pengusaha Jack McMullen, dengan 70,6 persen suara. Pada tanggal 5 Januari 2005, Leahy dilantik untuk masa jabatan keenamnya di Senat oleh Cheney.
Pada tanggal 21 September 2005, Leahy mengumumkan dukungannya kepada John Roberts untuk menjadi Ketua Mahkamah Agung Amerika Serikat. Pada tanggal 19 Januari 2006, Leahy mengumumkan bahwa dia akan memberikan suara menentang Hakim Samuel Alito untuk menjadi hakim di Mahkamah Agung.
Pada tanggal 18 Januari 2007, Leahy menerima liputan luas atas pemeriksaan silangnya terhadap Jaksa Agung Alberto Gonzales tentang perselingkuhan Maher Arar dan rendisi luar biasa Arar ke Suriah.
Presiden pro tempore
Setelah kematian Presiden Senat pro tempore Daniel Inouye pada tanggal 17 Desember 2012, Leahy menjadi senator paling senior dalam partai mayoritas, dan terpilih sebagai Presiden pro tempore yang baru dengan persetujuan bulat.
Pada tanggal 3 Januari 2015, Orrin Hatch menggantikan Leahy sebagai Presiden pro tempore Senat Amerika Serikat. Dia dihormati dengan gelar Presiden pro tempore emeritus segera setelah itu.