Herbert Zelenko besuchte öffentliche Schulen. Er graduierte 1926 an der Columbia University und 1928 an der Columbia Law School. Nach dem Erhalt seiner Zulassung als Anwalt 1929 begann er in New York City zu praktizieren. Als Lektor arbeitete er am Practicing Law Institute und am Law Science Institute. Er war der erste stellvertretende United States Attorney für den südlichen Distrikt von New York. Politisch gehörte er der Demokratischen Partei an.
Nach seiner Kongresszeit ging er wieder seiner Tätigkeit als Anwalt nach. Er starb am 23. Februar 1979 in New York City und wurde auf dem Sharon Gardens in Valhalla beigesetzt.