Ingemar Haraldsson kom från Ronneby BK och debuterade i Allsvenskan 1950 för Kalmar FF, där han ersatte Bengt Kjell, som hade värvats till AIK. I denna klubb spelade han 29 allsvenska matcher.
När Kalmar FF flyttades ned i division II 1951, gick han till IF Elfsborg och spelade med denna klubb fram till 1962. Han kom att göra 90 allsvenska matcher för boråsarna och var med om att vinna SM-guld 1961. Ingemar Haraldsson spelade sin sista match som 48-åring för IFK Ulricehamn i division II mot Örgryte IS. Den matchen vann Ulricehamn med 2–0.[2]
Ingemar Haraldssons fotbollskarriär löpte parallellt med målvaktslegendaren "Rio-Kalle" Svenssons, vilket medförde att han aldrig fick spela någon A-landskamp utan fick istället var reservmålvakt vid ett flertal matcher. Han gjorde sju matcher för Sveriges B-landslag, bland annat mot Sovjetunionen i Moskva 1955, och var tredjemålvakt i den svenska VM-truppen 1958.