Wolsky wuchs in New York City auf, wo er nach seinem Abschluss am College eine Ausbildung als Reisebürokaufmann absolvierte. Bis zum Alter von etwa 30 Jahren übte er diesen Beruf aus, bis sich Wolsky entschloss, am Broadway als Kostümbildner für Bühnenstücke zu arbeiten. 1968 war Wolsky erstmals auch für das Kostümdesign eines Spielfilms verantwortlich; es war das Filmdrama A Hatful of Rain, sein Debüt bei Film und Fernsehen.
Albert Wolsky war in seiner 40-jährigen Tätigkeit als Kostümbildner siebenmal für den Oscar in der Kategorie Bestes Kostümdesign nominiert, 1980 und 1992 hat er den Oscar gewonnen.
1999 wuryde er von der Costume Designer Guild (CDG) mit dem Career Achievement Award für sein Lebenswerk geehrt.
Wolsky ist Mitglied der Academy of Motion Picture Arts and Sciences.
Sein langjähriger Lebensgefährte war der Schauspieler und Tänzer James Mitchell.[1]