Pada tahun 1947 ia kembali ke Jerman, di mana ia memulai karier profesionalnya dengan menyanyikan solo bariton dalam Ein Deutsches Requiem karya Brahms tanpa latihan. (Dia adalah pengganti di menit-menit terakhir untuk seorang penyanyi yang sedang sakit.) Dia memberikan resital Lieder pertamanya di Leipzig pada tahun itu.
Sejak awal kariernya, ia bekerja sama dengan penyanyi sopran lirik terkenal Elisabeth Schwarzkopf dan Irmgard Seefried, dan produser rekaman Walter Legge, menghasilkan album-album yang sangat populer dari lagu-lagu lieder karya Franz Schubert dan Hugo Wolf.
Pada musim gugur tahun 1948, Fischer-Dieskau menjadi bariton lirik utama di Städtische Oper Berlin (Municipal Opera, Berlin Barat), membuat pertunjukan opera pertamanya dalam peran Posa dalam Don Carlos karya Verdi di bawah konduktor Ferenc Fricsay. Perusahaan ini, yang dikenal setelah tahun 1961 sebagai Deutsche Oper, menjadi rumah artistiknya sampai pensiun dari panggung opera, pada tahun 1978.
Fischer-Dieskau tampil sebagai tamu di gedung opera di Wina dan Munich. Setelah tahun 1949, ia melakukan tur konser di Belanda, Swiss, Perancis dan Italia. Pada tahun 1951, ia pertama kali tampil pada konser di Festival Salzburg dengan Lieder eines fahrenden Gesellen (Songs of a Wayfarer) Mahler di bawah asuhan Wilhelm Furtwängler. Ia mulai tampil di seluruh dunia: di Royal Albert Hall, London, Boston, Massachusetts dan di Festival Bayreuth.
Sebagai penyanyi opera, Fischer-Dieskau tampil terutama di Berlin dan di Bavarian State Opera di Munich. Ia juga tampil sebagai tamu di Vienna State Opera, di Royal Opera House, Covent Garden di London, di Hamburg State Opera, di Jepang, dan di King's Theatre di Edinburgh, selama Festival Edinburgh. Tur pertamanya di Amerika Serikat berlangsung pada tahun 1955, ketika ia berusia 29 tahun. Untuk resitalnya di sana, ia ditemani oleh Gerald Moore. Ia merekam banyak Lieder bersama Gerald Moore, dan memberikan banyak resital bersamanya sampai Moore pensiun pada tahun 1967. Namun, mereka terus membuat rekaman setelah itu. Rekaman mereka tentang siklus lagu Schubert Die schöne Müllerin dan Die Winterreise sangat dihargai.
Fischer-Dieskau juga menampilkan banyak karya komposer yang masih hidup, termasuk Benjamin Britten, Samuel Barber, Hans Werner Henze, Karl Amadeus Hartmann, Ernst Krenek dan Witold Lutosławski.
Fischer-Dieskau juga merekam banyak peran terkenal dalam opera Italia, misalnya Rigoletto karya Verdi dan Rodrigo dalam Don Carlos karya Verdi, Scarpia dalam Tosca karya Giacomo Puccini. Ia pensiun dari opera pada tahun 1978.
Kemampuan musik dan teknik Fischer-Dieskau selalu sempurna. Ia pensiun dari gedung konser pada Hari Tahun Baru, 1993, pada usia 67 tahun, dan menghabiskan waktunya untuk menjadi konduktor, mengajar (terutama penafsiran Lieder), melukis dan menulis buku.