Japonya ilk madalyalarını 1920'de, ilk altın madalyalarını ise 1928'de kazandı. Japon sporcular, 2020 Yaz Olimpiyatları'nın sonu itibarı ile Yaz Olimpiyatları'nda (sanat yarışmaları hariç) 497 madalya kazandılar; en çok altın madalya ise judo, kaykay ve karatede kazanıldı. Japonya ayrıca Kış Olimpiyatları'nda 58 madalya kazandı. En başarılı olduğu Olimpiyatlar, her ikisi de Tokyo'da düzenlenen 1964 ve 2020 oyunlarıdır.
Japonya Olimpiyat Komitesi 1911'de kuruldu ve 1912'de Uluslararası Olimpiyat Komitesi'nce tanındı.[1]