William war ein Sohn des Forst-, Regierungs- und Departementsrates Victor von Voigts-Rhetz (1775–1841) und dessen Ehefrau Dorothea, geborene von Uslar (1782–1865). Seine Brüder Konstantin Bernhard (1809–1877) und Julius (1822–1904) wurden ebenfalls Generale in der Preußischen Armee.
Am 12. April 1872 gab Voigts-Rhetz seine Brigade ab und übernahm dafür die in Breslau stationierte 21. Infanterie-Brigade. Ende April 1873 wurde er in Begleitung des Generals der Infanterie von Blumenthal zu der in Stockholm stattfindenden Krönung von König Oskar II. kommandiert. Am 12. Dezember 1873 beauftragte man Voigts-Rhetz zunächst mit der Führung der 20. Division in Hannover und ernannte ihn am 15. Januar 1874 zum Kommandeur dieses Großverbandes. In dieser Stellung avancierte er Ende März 1874 zum Generalleutnant und war im November/Dezember zur Teilnahme am St. Georgs-Fest nach Sankt Petersburg kommandiert. Anlässlich der Herbstmanöver in Schlesien war er zum Ehrendienst beim sächsischen König kommandiert, der ihm daraufhin das Großkreuz des Albrechts-Ordens verlieh. König Wilhelm I. würdigte Voigts-Rhetz zu dessen 50-jährigem Dienstjubiläum mit dem Großkomturkreuz des Königlichen Hausordens von Hohenzollern. Unter Verleihung des Charakters als General der Infanterie wurde er am 12. März 1881 mit Pension zur Disposition gestellt.
Nach seiner Verabschiedung wurde er am 22. März 1897 mit dem Großkreuz des Roten Adlerordens mit Eichenlaub ausgezeichnet.
Familienmausoleum auf dem Berliner Invalidenfriedhof
Familie
Voigts-Rhetz hatte sich am 6. Januar 1837 in Stralsund mit Agnes Gräfin von Wachtmeister (1817–1843) verheiratet. Nach ihrem frühen Tod ehelichte er am 12. Mai 1846 in Stockholm Albertine Wallis (1826–1916), Tochter des Kaufmanns Albrecht Wallis. Aus den Ehen gingen folgende Kinder hervor:
Klemens (1838–1917), preußischer Oberst a. D. und Rechtsritter des Johanniterordens ⚭ 1. Ehe Marie von Sponeck (1841–1908) ⚭ 2. Ehe Therese Sidonie, verwitwete von Normann (1853–1929)
Hilda (1841–1862) ⚭ Karl von La Fort († 1893), preußischer Major a. D. und Herr auf Papendorf
Agnes (1843–1882) ⚭ Karl von La Fort († 1893), preußischer Major a. D. und Herr auf Papendorf
Karl William Ferdinand (1849–1918), preußischer Oberst a. D. und Ehrenritter des Johanniterordens ⚭ Marie von Homeyer (1866–1939)
Albrecht (1850–1915), preußischer Hauptmann a. D. und deutscher Gesandter ⚭ 1. Ehe Alma, verwitwete Zimmermann, geborene Thieme (1857–1906) ⚭ 2. Ehe Olga verwitwete Langheinrich, geborene Thieme
Kurt von Priesdorff: Offizier-Stammliste des Grenadier-Regiments König Friedrich Wilhelm IV. (1. Pommersches) Nr. 2.E.S. Mittler & Sohn, Berlin 1906, S.