Себастьян Ольссон народився у місті Гетеборг і займатися футболом починав у місцевих клубах нижчих дивізіонів. У 2004 році він приєднався до футбольної школи клубу «Гетеборг».[1] У 2013 році футболіста було внесено до заявки команди на чемпіонат. Але свій дебют у професійному футболі Ольссон відмітив у клубі Супереттан«Ергрюте», куди його віддали в оренду. З командою Ольссон дійшов до чвертьфіналу Кубка Швеції. Після закінчення терміну оренди «Ергрюте» запропонував футболісту повноцінний контракт.
Своєю результативною грою у Супереттан Ольссон привернув до себе увагу і у 2017 році «Гетеборг» повернув свого вихованця. У клубі Ольссон став повноцінним гравцем основи і капітаном команди. Відігравши в Аллсвенскан два сезони, влітку 2019 року Ольссон підписав дворічний контракт з німецьким клубом «Санкт-Паулі».