Il débute à la fin des années cinquante avec Sonny Bono avec qui il écrit Needles and Pins pour Jackie DeShannon. Il devient arrangeur de Phil Spector, son idole qu'il imite en portant ses lunettes noires en permanence. On le surnomme d'ailleurs: « Specs »[précision nécessaire]. Aux studios Gold Star de Los Angeles il va façonner le mythique Wall of Sound de Phil Spector avec l'ingénieur du son Larry Levine sur les hits des Ronettes et des Crystals notamment.
Dans les années 1970, il produit certains des artistes de la nouvelle vague du punk new-yorkais parmi lesquels les Ramones ou encore Mink DeVille. Dans son autobiographie, Marianne Faithfull décrit Jack Nitzsche et Phil Spector en ces quelques mots : « Ma seule autre expérience avec des Américains était les amis étranges d'Andrew Loog Oldham, manager des Rolling Stones (Phil Spector et Jack Nitzsche) qui m'apparaissaient comme des extra-terrestres avec leurs lunettes noires et leurs amphétamines ; et surtout qui ne parlaient jamais. »
