1930. aasta mais Berliinis toimunud ROK-i olümpiakongressil kiideti käsipall esimest korda heaks 1936. aasta olümpiamängude jaoks, tingimusel et turniir saab toimuda mängudele määratud aja jooksul. Turniiril osales kuus riiki, Saksamaa võitis kulla Austria ja Šveitsi ees.
Algselt kavatses kümme riiki saata meeskonnad Berliini, kuid Taani, Holland, Poola ja Rootsi loobusid võistlustest. Eriti pettumust valmistas Skandinaavia riikide puudumine, kus siseruumides kasutatav käsipall oli populaarsem. See jättis tiitli põhimõtteliselt spordiala teisele kodumaale Saksamaale. Berliinis võistlesid ka neli Kesk-Euroopa riiki – Austria, Ungari, Šveits ja Rumeenia – ning ainus mitte-Euroopa võistkond oli Ameerika Ühendriigid ja Rumeenia meeskond koosnes Transilvaania etnilistest sakslastest. Pärast Ungari (22:0) ja USA (29:1) võitmist tekkis Saksamaale lõppfaasis mõnevõrra suurem vastupanu. Viimane mäng olümpiastaadionil mängitud Austria vastu oli suhteliselt tasavägine, kuid sakslased kerkisid siiski võidukalt olümpiavõitjateks: 10:6.
Katse käsipall püsivalt olümpiaprogrammi lülitada ebaõnnestus aprillis 1949. aastal Roomas toimunud ROKi 44. istungil. Sellele oli kindlasti kaasa aidanud asjaolule, et neli riiki loobusid 1936. aastal (Taani, Hollandi, Poola ja Rootsi) ning sisekäsipall sai järjest populaarsemaks. Helsingis1952. aasta suveolümpiamängude raames toimus 30. juulil Rootsi ja Taani vahel näidismäng, mille Rootsi võitis 19:11. Sellega lõppes väljakute käsipallile olümpiamängudel.
Kakskümmend aastat hiljem oli käsipall taas olümpiaala, seekord sisekäsipall. Oktoobris 1965. aastal oma 64. istungjärgul Madridis muutis ROK käsipalli taas olümpiaalaks. Lääne-Saksamaa riikliku olümpiakomitee president Willi Daume oli ROK-i jaoks korraldanud Hispaania ja Lääne-Saksamaa vahel demonstratsioonmängu.
1936. aastal ühtegi finaali ei mängitud, toimus nelja meeskonnaga finaalgrupp, kus kõik meeskonnad mängisid üksteise vastu korra. Selle põhjal selgusid medalivõitjad.
Aastatel 1976, 1980 ja 1984 mängisid kõik võistkonnad ühes alagrupis ja medalivõitjad selgusid peale alagrupi mänge. 1988. aastal mängiti kahes alagrupis, millest kaks paremat pääsesid finaalgruppi. Seal mängisid kõik omavahel läbi ja selgusid medalivõitjad.