Tijdens de oorlog nam hij deel aan scholingsavonden; later werd hij groepsleider. Tevens drukte en verspreidde hij meerdere illegale bladen. Hij gebruikte de naam Van Zanten als schuilnaam.
Op 28 februari 1942 werd hij gearresteerd.[2] Hij legde een open en onomwonden bekentenis af.
De Graaff werd samen met 17 anderen door een Duitse krijgsraad te velde op 23 oktober 1942 ter dood veroordeeld wegens de vorming van een illegale partij in Rotterdam en omstreken en wegens "Feindbegünstigung". Op 15 december 1942 werd voor zes van de achttien veroordeelden door generaal Christiansen de doodstraf omgezet in 15 jaar tuchthuis. Voor de twaalf anderen, waaronder De Graaff, werd de doodstraf bekrachtigd. Hij is gefusilleerd op de Leusderheide op 29 december 1942 evenals enkele tientallen anderen.
De Graaff was gehuwd en had twee kinderen. In 1995 is hij herbegraven op Ereveld Loenen.
