Mjällby startte zijn profcarrière bij AIK Stockholm, met wie hij in 1992 landskampioen werd. In 1998 verhuisde hij naar het Schotse Celtic FC, met wie hij vele prijzen in de wacht sleepte. Hij werd gezien als de beste verdediger die in jaar op Celtic Park had gespeeld. In 2004 ging hij in Spanje voor Levante UD spelen. Na een jaar verliet hij de club en keerde terug naar de club waar het voor hem allemaal begon, AIK Stockholm. Daar speelde hij nog een jaar en in 2006 beëindigde hij zijn carrière.
Interlandcarrière
Hij maakte zijn debuut voor de Zweedse nationale ploeg op 12 maart1997 in de vriendschappelijke wedstrijd tegen Israël (0-1) in Tel Aviv. In totaal speelde hij 49 interlands waarin hij vier keer kon scoren. Mjällby speelde op het WK 2002 (waar hij aanvoerder was), het EK 2000 en het EK 2004.
.svg){kind=small}
