Da ragazzino praticava agonisticamente sia il calcio che il tennis, poi intraprese la decisione di dare la priorità al calcio e nel 1984 entrò nel vivaio dell'AIK.
Con la maglia del club nerogiallo, Mjällby ha vissuto i successivi 14 anni tra settore giovanile e prima squadra. Durante questo periodo vinse due scudetti e due Coppe di Svezia: nel 1992 il giocatore allora ventunenne rifiutò di ricevere la medaglia che spetta ai giocatori che hanno vinto il campionato, affermando di non aver contribuito in maniera rilevante alla conquista del titolo.
Nel 1998 si trasferì al Celtic per una cifra vicina a 1.200.000 sterline, scegliendo il 35 come numero di maglia (mantenuto durante tutta la sua permanenza in Scozia). Debuttò con i biancoverdi in occasione di un derby contro i rivali dei Rangers vinto 5-1, partita in cui Mjällby giocò come difensore centrale anziché centrocampista come spesso avvenuto in passato. Iniziò come centrocampista anche la stagione 1999-2000, ma tornò ad essere schierato in difesa con l'esonero di John Barnes. Nel 2002-2003 giocò da titolare la finale di Coppa UEFA persa contro il Porto.
Nel 2004, dopo la vittoria del suo terzo scudetto scozzese, lasciò il club di Glasgow per tentare l'avventura al Levante, ma alcuni infortuni (patiti anche in Scozia) gli impedirono di essere schierato in più di tre partite di campionato. Prima di chiudere la sua carriera da professionista, volle tornare all'AIK per disputare un'ultima partita ufficiale. Il 16 maggio 2006 si è ritirato ufficialmente.
Nazionale
In occasione dell'Europeo 2000 realizzò il primo gol svedese della manifestazione, segnando ai padroni di casa del Belgio nella gara inaugurale. Due anni più tardi fu capitano della Svezia al Mondiale 2002 disputato in Corea del Sud e Giappone. Fu anche tra i 23 convocati dell'Europeo 2004 in Portogallo.
In totale dal 1997 al 2004 collezionò 49 presenze con la Nazionale, segnando quattro reti.
Allenatore
Il 25 marzo 2010 fu annunciato il suo ruolo di vice dell'ex compagno di squadra Neil Lennon al Celtic, giunto sulla panchina biancoverde dopo l'esonero a stagione in corso di Tony Mowbray. Insieme a Lennon rimase sulla panchina biancoverde fino al termine della stagione 2013-2014.
La coppia Lennon-Mjällby si ricompose pochi mesi più tardi: il 12 ottobre 2014 i due vennero annunciati rispettivamente come capo e vice allenatore del Bolton, nella Championship inglese. Nel settembre del 2015, Mjällby si dimise dal suo ruolo adducendo motivi personali e fu sostituito da Steve Walford.
Nel febbraio 2016 iniziò la sua prima esperienza da capo allenatore assumendo la guida del Västerås SK, squadra militante nella terza serie svedese.
All'inizio della stagione 2018 venne nominato nuovo tecnico del Gefle, ma a metà campionato fu esonerato poiché la squadra occupava il penultimo posto in classifica. I biancoazzurri vennero poi ugualmente retrocessi.
In vista della stagione 2019, Mjällby accettò la chiamata dell'FC Stockholm Internazionale, squadra emergente che negli otto anni precedenti era stata in grado di passare dalla Division 7 alla Division 2, il quarto livello del campionato nazionale. Guidò la formazione rossonera per due anni.
Statistiche
Cronologia presenze e reti in nazionale
Cronologia completa delle presenze e delle reti in nazionale ― Svezia
.svg){kind=small}
.svg){kind=small}
