Gillette föddes i Old Windsor, Connecticut (numera en del av staden Bloomfield). Han flyttade med sina föräldrar till Ashfield, Massachusetts, som barn. han tog examen från Yale College 1829 och började studera juridik. När hans hälsa blev sämre började han i stället arbeta med jordbruk i Bloomfield.
Politisk karriär
Gillette var ledamot av Connecticuts representanthus 1832, 1836 och 1838. Han kandiderade till posten som guvernör i Connecticut 1841, men förlorade mot Chauncey F. Cleveland. Han försökte bli guvernör flera gånger, men lyckades aldrig. Han var ordförande för Connecticuts utbildningsstyrelse från 1849 till 1865 och flyttade till Connecticuts huvudstad Hartford 1852.
Han valdes för Free Soil-partiet till USA:s senat1854 för att fylla vakansen sedan Truman Smith avgått, och tjänstgjorde från den 24 maj det året till slutet av mandatperioden den 3 mars 1855. Han kandiderade inte till omval och efterträddes i senaten av Lafayette S. Foster.