Il était surtout connu pour jouer le rôle de l'arrogant chef Carl Levitt dans la série Barney Miller, dans laquelle il a presque toujours été entouré par des acteurs masculins (et parfois des guest stars féminins) tels que : Hal Linden(en), Max Gail(en), Abe Vigoda, Ron Glass. Carey apparut dans le rôle récurrent à travers presque toute la série.
