Dirk Georg de Graeff war ein Nachkomme der De Graeffs die im 17. Jahrhundert Stadtherren von Amsterdam waren. Er war der Sohn von Jonkheer Géorg de Graeff (1873–1954), von Beruf Staatsingenieur und Inspektor der Volksgesundheit in Zeeland und Nord-Holland, und Lidia Christine Adelaide Dijckmeester.[1] Sein jüngerer Bruder Jhr. Andries Cornelis Dirk de Graeff (* 1909) war Direktor des Zentralkontors der Ölfirma Shell und Präsident des königlichen Instituts der Ingenieure gewesen. Er entstammte dem Den Haager Zweig der Familie De Graeff und war der Enkelsohn des in Japan erfolgreich tätigen Diplomaten Jhr. Dirk de Graeff van Polsbroek und ein Neffe des Staatsmannes Jhr. Andries Cornelis Dirk de Graeff. Dirk Georg de Graeff war mit Jkvr. Wendela Johanna Leonia Hooft (1916–1948) verheiratet. Sie war auch eine Nachkommen des berühmten niederländischen Admirals Michiel de Ruyter.[2] Hernach ehelichte er Margaretha Bierens de Haan (* 1915) aus Amsterdam, Tochter von Mr. Dr. Jacob Bierens de Haan und Jkvr. Wilhelmina Cornelia van Riemsdijk.