Albert entstammte vermutlich dem Freisinger Ministerialengeschlecht derer von Harthausen und war in Freising Domdekan und Dompropst. Albert konnte als Bischof den Einfluss der Wittelsbacher als Vögte der Freisinger Kirche durch Einschränkung ihrer Rechte 1164 zurückdrängen. Er führte seine Diözese geschickt durch den Konflikt Kaiser Friedrich Barbarossas mit dem Papst.
Ab 1159 entstand unter Bischof Albert der bis heute bestehende Neubau des am 5. April 1159 abgebrannten Freisinger Doms. 1160 wird erstmals auch eine Brauerei auf dem Domberg urkundlich erwähnt.