Dopo la Marina, Holzman si unì alla NBL con i Rochester Royals, che vinse il campionato NBL nella prima stagione di Holzman, e fu nominato Rookie of the Year nel 1944-1945. Nel 1945-1946 e 1947-1948 fece parte della first team All League della NBL; nell'anno ad interim era nel second team. Holzman rimase con la squadra durante il passaggio all'NBA e al successivo campionato NBA nel 1951. Nel 1953, Holzman lasciò i Royals e si unì ai Milwaukee Hawks come giocatore-allenatore, ritirandosi infine come giocatore nel 1954 ma continuando come capo allenatore della squadra.
Allenatore
Durante la stagione 1956-1957, Holzman condusse gli Hawks (allora a St. Louis, Missouri) a 19 sconfitte durante le prime 33 partite, e successivamente fu licenziato. Divenne quindi uno scout per i New York Knicks per i successivi dieci anni, fino al 1967, dopodiché divenne capo allenatore della squadra fino al 1982. L'ex giocatore di Holzman, Willis Reed, lo ha sostituito come capo allenatore dei Knicks nel 1977, ma Holzman è tornato all'inizio della stagione 1978-1979. Durante questo periodo di 15 anni come allenatore dei Knicks, Holzman ha vinto un totale di 613 partite, inclusi due campionati NBA nel 1970 e nel 1973.
Nel 1969, Holzman ha allenato i Knicks a un record NBA di 18 vittorie consecutive in una sola stagione, battendo il record di 17 partite stabilito per la prima volta nel 1946. Per i suoi sforzi che hanno portato alla vittoria del campionato 1970 dei Knicks, Holzman è stato nominato il Allenatore dell'anno NBA per quell'anno. Ha vinto il suo secondo campionato NBA quando i Knicks hanno vinto le finali NBA del 1973 contro i Lakers. È stato uno dei pochi individui ad aver vinto un campionato NBA sia come giocatore che come allenatore. Come allenatore, il suo record finale è stato di 696 vittorie e 604 sconfitte. Al momento del suo ritiro nel 1982, ha ottenuto il secondo maggior numero di vittorie in carriera come allenatore nella storia della NBA.
Nel 1985, è stato eletto nella Naismith Memorial Basketball Hall of Fame. I New York Knicks hanno ritirato il numero 613 in suo onore, eguagliando il numero di vittorie che ha accumulato come capo allenatore. È anche membro dell'International Jewish Sports Hall of Fame.
Viveva con sua moglie in una casa che avevano comprato a Cedarhurst, New York negli anni '50. Dopo la sua lunga carriera di allenatore NBA, ad Holzman è stata diagnosticata la leucemia ed è morto al Long Island Jewish Medical Center di New Hyde Park, New York nel 1998. Poco prima che il coach Holzman morisse, fu eretta una torre dell'orologio in suo onore all'incrocio tra Central Avenue e Cedarhurst Avenue a Cedarhurst, New York, come parte dell' "Operazione Downtown", un progetto avviato dal presidente della contea di Nassau Bruce Blakeman e dal sindaco di Cedarhurst Andy Parise.
* - Membri che sono stati inseriti sia in qualità di allenatori, sia in qualità di giocatori. ** - Membri che sono stati inseriti sia in qualità di allenatori, sia in qualità di contributori. *** - Membri che sono stati inseriti sia in qualità di contributori, sia in qualità di giocatori.