Der Ortsnamenforscher Robert Schuh erklärt den Mühlennamen als „Mühle des/der Grafen (von Hirschberg).“[2] Sollte sich der Mühlenname tatsächlich auf die Hirschberger Grafen beziehen, müsste die Mühle bereits vor 1305, dem Jahr des Aussterbens der Hirschberger mit Graf Gebhard VII., bestanden haben.[3] Sie wird jedoch erstmals 1397 erwähnt, als am 26. Dezember dieses Jahres Ritter Heinrich Schenk von Geyern und seine Ehefrau Dorothea, geb. von Seckendorff, unter anderem die „Graffen Mül gelegen an der Brömbach“ und den dazugehörenden Weiher an die DeutschordenskommendeEllingen verkauften.[4]
Nach einem Beleg von 1608 war die Mühle dem Deutschen Orden in Ellingen vogt- und gültbar; die Fraisch allerdings war nach einem Beleg von 1612 zwischen dem Deutschen Orden und dem markgräflich-ansbachischenAmt Gunzenhausen strittig. Für 1732 erfährt man, dass die „Gräffen Mühl“ nach Absberg gepfarrt ist und der Zehnt der dortigen Pfarrei gehört; die Vogtei inner Ettern wird vom Deutschen Orden in Ellingen wahrgenommen, während die hohe Fraisch nunmehr eindeutig beim markgräflichen Oberamt Gunzenhausen liegt.[5]
Die Grafenmühle war bis ins 20. Jahrhundert mit vier Wasserrädern ausgestattet; drei Räder trieben Mahlwerke an, ein Rad eine Sägemühle. 1928 erwarb die Familie Bayerlein die Mühle und ersetzte die Mühlenräder durch eine Turbinenanlage zur Stromgewinnung. In den 1970er/1980er Jahren übernahm der Bayerische Staat das Anwesen zum Bau des Großen Brombachsees und riss die Mühle ab.[8] Ein neu geschaffenes Niedermoor als ökologische Ausgleichsfläche wurde als Naturschutzgebiet Grafenmühle benannt.[9]