Ο Γκραφ γεννήθηκε στις 24 Οκτωβρίου στο Ένγκεν και ήταν το νεώτερο μέλος της οικογένειάς του, με δύο μεγαλύτερους αδερφούς. Από νωρίς ασχολήθηκε τις πτήσεις, αρχικά με ανεμόπτερο. Το 1939 εντάχθηκε στο δυναμικό της Lufwaffe. Η επιχειρησιακή του δράση ξεκίνησε το 1940 στη Γαλλία, όπου πραγματοποίησε 21 εξόδους χωρίς να σημειώσει κάποια επιτυχία. Τον Οκτώβριο του 1940 μετακινήθηκε στην 9η Μοίρα της JG52. Η πρώτη του κατάρριψη πραγματοποιήθηκε στις 4 Αυγούστου του 1941 και αφορούσε ένα σοβιετικό Ι-16 στο Ανατολικό Μέτωπο. Μέχρι τις 24 Ιανουαρίου 1942 είχε σημειώσει 41 καταρρίψεις και κέρδισε τον Σταυρό των Ιπποτών του Σιδηρού Σταυρού. Στις 17 του επόμενου Μάη έλαβε τα Φύλλα Δρυός, όταν πέτυχε την 104η κατάρριψη. Δύο ημέρες αργότερα προσέθεσε και τα Ξίφη στο εν λόγω παράσημο. Το φθινόπωρο του 1942 ο Γκραφ έδρασε πάνω από το Στάλινγκραντ και σε διάστημα 30 ημερών κατέρριψε 62 σοβιετικά αεροσκάφη. Στις 16 Σεπτεμβρίου έγινε αποδέκτης των Διαμαντιών στο Σταυρό των Ιπποτών, μιας διάκρισης που έλαβαν μόνο 10 πιλότοι της Lufwaffe κατά τη διάρκεια του πολέμου[8]. Στις 26 Σεπτεμβρίου σημείωσε τη 200η κατάρριψή του σε διάστημα μόλις 13 μηνών. Στη συνέχεια εστάλη στη Γαλλία ως διοικητής της μονάδας JG 50, ενώ την άνοιξη του 1944 επέστρεψε στο Ανατολικό Μέτωπο ως διοικητής της JG52, θέση που κράτησε ως το τέλος του πολέμου. Στις 8 Μαΐου 1945 παραδόθηκε στα προελαύνοντα αμερικανικά στρατεύματα, που με τη σειρά τους τον παρέδωσαν στους Σοβιετικούς μαζί με τα υπόλοιπα μέλη της μονάδας του.
Παρέμεινε αιχμάλωτος πολέμου επί τέσσερα χρόνια και απελευθερώθηκε τα Χριστούγεννα του 1949. Πολλοί απέδωσαν την σχετικά εύκολη απελευθέρωσή του στην προθυμοποίησή του να συνεργαστεί με τους Σοβιετικούς[9] γεγονός που τον κράτησε μακριά από τους γερμανικούς συλλόγους βετεράνων. Στο υπόλοιπο της ζωής του εργάστηκε ως υπεύθυνος πωλήσεων σε μια εταιρεία ηλεκτρικών ειδών. Απεβίωσε στις 4 Νοεμβρίου 1988 έχοντας προσβληθεί από την ασθένεια του Πάρκινσον[10].