Iowában született. Testvére Arnold Margolin producerként, televíziós íróként és rendezőként tevékenykedik.
Margolin 1970-ben tűnt ki a Kelly hősei című háborús filmben, Kicsi Joe-t alakítva. 1974-ben a Bosszúvágy című Charles Bronson-filmben is szerepelt, aminek negyedik részében a Kelly hőseiből ismert partnere, Perry Lopez is játszott később. Az 1970-es-80-as években elsősorban sorozatokban és show-műsorokban lépett fel. Ezek közül a The Rockford Files című Emmy-díjas sorozata a legismertebb.
Rendezőként a Magyarországon is vetített Magnum című sorozatban is tevékenykedett.
Háromszor kapott Emmy-díjat: 1979-ben, 1980-ban és 1987-ben.