Nato a Bogense nel 1965[2], Albinus studia recitazione presso l'Aarhus Teater ad Aarhus, dove si diploma nel 1989. Lavora presso lo stesso teatro sino al 1994. La sua carriera cinematografica inizia nel 1996 e nel 1998 ottiene la sua prima parte importante nel film Idioti di Lars von Trier, regista con cui collaborerà ancora in Dancer in the Dark (2000), Il grande capo (2006) e Lars: The Early Years del 2007 (quest'ultimo scritto, ma non diretto da von Trier).
Vita privata
La sua compagna attuale è l'attrice danese Marina Bouras, con la quale ha avuto una figlia nel settembre 2007.[3][4]