Anders Dreyer speelde in de jeugd van Ribe Boldklub, Bramming Boldklub en Esbjerg fB. Bij Esbjerg zat hij in het seizoen 2014/15 eenmalig als reserve op de bank bij het eerste elftal, maar debuteerde pas twee jaar later. Dit was op 2 april 2017, in de met 0-0 gelijkgespeelde thuiswedstrijd tegen Randers FC. Enkele weken later scoorde hij zijn eerste doelpunt in de met 1-3 gewonnen uitwedstrijd tegen AC Horsens. In zijn eerste seizoen degradeerde hij met Esbjerg naar de 1. division, waarna hij het seizoen erna weer promoveerde naar de Superligaen. In dit seizoen in de 1. division scoorde hij achttien keer, waarmee hij topscorer werd. In augustus 2018 werd Dreyer door de Engelse club Brighton & Hove Albion FC gekocht voor een bedrag van 2,2 miljoen euro. Bij Brighton kwam hij in het tweede elftal terecht, en werd in de tweede seizoenshelft van het seizoen 2018/19 verhuurd aan het Schotse St. Mirren FC. In het seizoen 2019/20 wordt hij verhuurd aan sc Heerenveen.[1] Hij debuteerde voor Heerenveen op 31 augustus 2019, in de met 1-1 gelijkgespeelde thuiswedstrijd tegen Fortuna Sittard. Hij scoorde zijn enige doelpunt voor de Friezen op 8 december 2019, in de met 1-3 gewonnen uitwedstrijd tegen RKC Waalwijk. In de winterstop werd de huurperiode van Dreyer beëindigd, en werd hij door Brighton & Hove aan FC Midtjylland verkocht.
In zijn eerste halve seizoen werd Dreyer kampioen met Midtjylland, waarna het seizoen erna de groepsfase van de Champions League bereikt. In de met 1-2 verloren thuiswedstrijd tegen AFC Ajax scoorde hij het eerste doelpunt ooit van de club in de Champions League. In het seizoen 2020/21 werd Midtjylland tweede in de Superligaen. In de zomer van 2021 werd Dreyer voor een bedrag van zeven miljoen euro verkocht aan het RussischeRoebin Kazan, waar hij in zijn debuutwedstrijd tegen FK Oeral driemaal scoorde. Als gevolg van de Russische inval in Oekraïne verhuisde Dreyer in juli 2022 voor een transfersom van 5 miljoen euro weer terug naar FC Midtjylland.
Een seizoen later in januari 2023 tekende Dreyer een contract voor 4 seizoenen bij het Belgische RSC Anderlecht, dat voor een bedrag van rond de 4 miljoen euro. Dreyer speelde zich al snel in de ploeg en wist zijn eerste doelpunt te maken begin februari tegen KV Oostende. Door de historische elfde plaats van Anderlecht dat jaar, zat het seizoen van Dreyer er al op in april. In het seizoen 2024 kende hij een goed seizoen, om de één of twee matchen maakte hij wel een goal of assist waardoor hij een van de sterkhouders is van het huidige Anderlecht. Gekoppeld aan zijn goede seizoen steeg de marktwaarde van Dreyer eind december 2023 dan ook naar 10 miljoen.