Uni Soviet mengirim atlet ke Olimpiade untuk pertama kalinya pada tahun 1952. Mereka mengirim tim ke Olimpiade sebanyak 18 kali sejak saat itu. Pada tujuh dari sembilan kali ke Olimpiade Musim Panas, tim ini menempati peringkat pertama dalam jumlah total medali yang dimenangkan. Tim ini berada di peringkat kedua pada dua Olimpiade lainnya. Tim ini menduduki peringkat pertama dalam jumlah medali tujuh kali dan kedua dua kali dalam sembilan kali mereka mengirim tim ke Olimpiade Musim Dingin.
Komite Olimpiade Uni Soviet dibentuk pada tanggal 21 April 1951. Itu diterima oleh IOC pada 7 Mei 1951.
Olimpiade Musim Panas 1952 di Helsinki adalah Olimpiade pertama bagi atlet Soviet. Pada 20 Juli 1952, medali emas Olimpiade pertama untuk negara itu dimenangkan oleh Nina Romashkova dalam lempar cakram wanita. Romashkova mencetak rekor Olimpiade baru dalam acara tersebut. Olimpiade Musim Dingin 1956 di Cortina d'Ampezzo adalah Olimpiade Musim Dingin pertama untuk atlet Soviet. Medali emas Olimpiade Musim Dingin pertama untuk Uni Soviet dimenangkan oleh Lyubov Kozyreva dalam ajang ski lintas alam 10 km putri.
Uni Soviet adalah negara tuan rumah untuk Olimpiade Musim Panas 1980 di Moskow. Olimpiade ini diboikot oleh Amerika Serikat dan banyak negara lainnya. Setelah itu, Uni Soviet memimpin boikot Olimpiade 1984 di Los Angeles.
Uni Soviet berakhir pada 26 Desember 1991. Komite Olimpiade Uni Soviet baru berakhir pada 12 Maret 1992.
Pada tahun 1992, 12 dari 15 negara yang pernah menjadi bagian dari Uni Soviet ikut serta dalam Olimpiade sebagai Tim Terpadu. Mereka menggunakan Bendera Olimpiade di Olimpiade Barcelona. Tim Terpadu menempati urutan pertama dalam peringkat medali. Tim Terpadu juga berkompetisi di Olimpiade Musim Dingin Albertville di awal tahun. Hanya tujuh dari dua belas negara yang ambil bagian. Mereka berada di urutan kedua dalam peringkat medali di Olimpiade tersebut.