Rasmussen speelde lang in de jeugd van Næsby BK. Via de opleiding van Odense BK kwam de verdediger in 2014 terecht in Duitsland bij Schalke 04. Twee jaar later verkaste hij naar FC St. Pauli, waar hij in het tweede elftal kwam te spelen.[1]Rosenborg BK haalde de Deen in januari 2017 op en schotelde hem een contract voor vier seizoenen voor.[2] Hij werd landskampioen in zijn eerste jaar en won tweemaal de Mesterfinalen met Rosenborg. Medio 2018 betaalde Empoli circa een miljoen euro voor de centrumverdediger.[3] Dit bedrag werd na een halfjaar ruimschoots terugverdiend, doordat Fiorentina zeven miljoen euro voor hem betaalde. Rasmussen werd direct verhuurd aan zijn oude club Empoli.[4] In de eerste helft van het seizoen 2019/20 kwam de Deen niet aan spelen toe bij Fiorentina, dat hem daarna een halfjaar verhuurde aan Erzgebirge Aue.[5]
In juli 2020 werd Rasmussen gepresenteerd als nieuwe aanwinst van Vitesse. De Arnhemse club huurde hem voor een seizoen, met een optie op een jaar extra.[6] In het seizoen 2020/21 reikte Vitesse tot de finale van de KNVB Beker, maar verloor deze met 2–1 van AFC Ajax. Rasmussen kreeg rood in de bekerfinale.[7] Een maand later werd de optie in het huurcontract gelicht, waardoor hij een jaar langer op huurbasis in Arnhem speelde.[8] In het seizoen 2021/22 wist Vitesse zich te plaatsen voor de groepsfase van de UEFA Europa Conference League. Op 21 oktober 2021 won Vitesse hierin met 1–0 van Tottenham Hotspur. Met tien punten uit zes wedstrijden werd Vitesse tweede in de groep, waarmee het Europees overwinterde.
Na zijn verhuurperiode in Arnhem bleef Rasmussen in Nederland voetballen, want eind juli 2022 nam Feyenoord hem over op huurbasis met een optie tot koop.[9] Met Feyenoord werd hij landskampioen en Fiorentina verkocht hem na zijn terugkeer voor circa drie miljoen aan Brøndby IF, waar hij voor vier jaar tekende.[10]
