Olsen a dániai Tårnby városában született. Az ifjúsági pályafutását a Brøndby csapatában kezdte, majd az olasz Internazionale akadémiájánál folytatta.
2011-ben mutatkozott be a Brøndby felnőtt keretében. 2013-ban az olasz első osztályban szereplő Internazionale szerződtette, ám a klub színeiben egy ligamérkőzésen sem lépett pályára.[1] A 2014-es szezonban a norvég Strømsgodsetnél szerepelt kölcsönben. 2015-ben a Haugesund és a francia Lens, majd 2017-ben a svájci Grasshoppers csapatához igazolt.[2][3][4] 2017-ben visszatért Dániába, és a Helsingørnál folytatta a labdarúgást. 2019-ben az AaB-hoz, míg 2020-ban az Aarhushoz csatlakozott. 2022. február 15-én 3½ éves szerződést kötött a lengyel első osztályban érdekelt Śląsk Wrocław együttesével.[5] Először a 2022. február 27-ei, Zagłębie Lubin ellen 0–0-ás döntetlennel zárult mérkőzésen lépett pályára.[6] Első gólját 2022. szeptember 16-án, a Piast Gliwice ellen idegenben 1–1-es döntetlennel végződő találkozón szerezte meg.[7]
A válogatottban
Olsen az U16-ostól az U21-esig minden korosztályú válogatottban képviselte Dániát.
2013-ban debütált az U21-es válogatottban. Először a 2013. szeptember 6-ai, Andorra ellen 6–0-ra megnyert U21-es EB-selejtezőn lépett pályára.[8]
Ez a szócikk részben vagy egészben a Patrick Olsen című angol Wikipédia-szócikk fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel. Ez a jelzés csupán a megfogalmazás eredetét és a szerzői jogokat jelzi, nem szolgál a cikkben szereplő információk forrásmegjelöléseként.