Ta töötas algul Austria väikelinnades. Alates 1772. aastast oli Viini karmeliitide kloostri kooriregent ja koguduse organist, alates 1792. aastast Püha Stephani koguduse kapellmeister. Seal olid tema oreliõpilasteks teiste hulgas Beethoven, Czerny, Fries ja Hummel.
Albrechtsbergeri pedagoogilised seisukohad töödes (enamik käsikirjas) olid autoriteetsed. Ta avaldas klaveriõpiku. Weinzierlis parun Fürnbergi mõisas oli ta koos vend Antoniuse, Haydni, paruni enda ja teistega kaastegev ühes esimestest keelpillikvartettidest Alam-Austrias.
