Er stammte aus der Möllenhagener Linie des mecklenburgischen Adelsgeschlechts Holstein und war Sohn des dänischen Geheimrats Johann Georg von Holstein (1662–1730) und seiner ersten Frau Ida von Bülow (1677–1727). Der dänische Sondergesandte in St. Petersburg, Carl von Holstein (1700–1763) war einer seiner Brüder. Johan Ludvig heiratete 1734 Hedwig von Wind (Hedevig Vind), aus dieser Ehe ging ihr Sohn Christian Frederik Holstein-Ledreborg (* 10. Mai 1735; † 15. Juni 1799) hervor.
Eine seiner großen Leidenschaften war seine Kunst-, Literatur- und Manuskriptsammlung; er besaß eine große Bibliothek. Noch heute können auf Schloss Ledreborg, das 1739 von ihm gebaut und seitdem kaum verändert wurde, viele Teile seiner Sammlung besichtigt werden. Das Schloss ist seit mehr als 250 Jahren im Besitz der Familie der Grafen Holstein-Ledreborg.
Der dänische Name der grönländischen Stadt Sisimiut – Holsteinsborg – geht auf Johan Ludvig von Holstein zurück. Er war Leiter des Missionskollegiums, das die in Grönland tätigen Missionare ausbildete.
