Дебютував за ГАІС у 1926 році, того сезону клуб виграв національний чемпіонат, випередивши на 3 очки «Гетеборг». Через чотири роки разом з командою повторив цей успіх, а в 1932 році став срібним призером чемпіонату. Разом з цим клубом у 1931 році виграв чемпіонат Швеції. У футболці ГАІСу зіграв 122 матчі та відзначився 45-а голами. Футбольну кар'єру лівофланговий технічний нападник був змушений завершити через пролеми з коліном, внаслідок численних порушень правил, які Гуннар «збирав на собі». Помер 27 вересня 1974 року.
Кар'єра в збірній
У складі національної збірної Швеції дебютував 6 листопада 1932 року в програному (1:2) товариському матчі проти Швейцарії. Той поєдинок виявився вдалим для Гуннара, оскільки за 7 хвилин, проведених на футбольному полі, він встиг відзначитися голом у футболці «Трьох корон». Востаннє футболку національної команди одягав 23 травня 1934 року в переможному (4:2) товариському матчі проти Польщі. З 1932 по 1934 рік зіграв 6 матчів за національну команду, відзначився 1 голом. У 1934 році Йожеф Надь, тодішній головний тренер збірної, викликав Ульссона до складу національної команди для участі в чемпіонаті світу. На турнірі в Італії Гуннар був резервістом і не зіграв у жодному поєдинку.