Первым профессиональным клубом Карла Клингберга стал клуб шведской национальной лиги «Фрёлунда». На драфте НХЛ 2009 года игрок был выбран хоккейным клубом «Атланта Трэшерз». Сезон Карл закончил в шведском клубе «Тимро», а к сезону 2009/10 присоединился к фарм-клубу «Атланты», «Чикаго Вулвз». Дебют игрока в НХЛ состоялся 10 апреля 2010 года — в матче против «Питтсбурга». В межсезонье «Атланта Трэшэрз» переехал в город Виннипег, и стал выступать под названием «Виннипег Джетс». В структуре клуба игрок провёл 4 сезона. 1 марта 2015 года был продан в «Нью-Йорк Рейнджерс». Сезон Клингберг доиграл в фарм-клубе Нью-Йоркского клуба в АХЛ. По окончании контракта на правах свободного агента Карл Клингберг подписал однолетний контракт с клубом КХЛ «Торпедо».