Der aus dem Staat New York stammende Spencer besuchte das College im kanadischenMontreal und fand nach seiner Rückkehr in die Vereinigten Staaten 1856 zunächst eine Beschäftigung als Sekretär des Senats von Iowa. Nach einem Jura-Studium wurde er dann 1857 in die Anwaltskammer aufgenommen und begann in seinem neuen Beruf zu arbeiten.
Während des Bürgerkrieges diente Spencer im Rang eines Captain in der Unionsarmee. Nach seinem Abschied vom Militär im Jahr 1865 wurde er nachträglich für sein vorbildliches Verhalten auf dem Schlachtfeld in den Rang eines Brigadegenerals erhoben. Er arbeitete in der Folge zunächst wieder als Anwalt in Decatur, ehe er 1867 in Staatsdienste trat und Beamter für Bankrottfälle (Register in bankruptcy) für den vierten Distrikt des Staates Alabama wurde.
Nach der Wiederaufnahme Alabamas in die Vereinigten Staaten im Jahr 1868 wurde der Republikaner Spencer in den US-Senat gewählt. 1872 folgte die Bestätigung im Amt, sodass er bis zum 3. März 1879 im Kongress verblieb. Während dieser Zeit war er Vorsitzender des Committee on the District of Columbia sowie des Committee on Military Affairs. Im Jahr 1872 fungierte er auch als Delegierter zur Republican National Convention sowie als Mitglied des Republican National Committee.
George Spencer zog sich danach auf seine Ranch in Nevada zurück und starb im Jahr 1893 bei einem Aufenthalt in der Bundeshauptstadt. Er wurde auf dem Nationalfriedhof Arlington beigesetzt.