Fadern John Randolph var lojalist och åkte till Skottland när den amerikanska revolutionen verkade oundviklig. Edmund Randolph däremot blev kvar i Amerika och gick med i den kontinentala armén som adjutant till George Washington. När farbrodern Peyton Randolph avled 1775, återvände Edmund till Virginia för arvskiftet. Han blev senare borgmästare av hemstaden Williamsburg, något som även fadern hade varit. Han valdes som delegat till Kontinentala kongressen1779. Där var han i tre år och samtidigt arbetade han som advokat, bl.a. för George Washington.
Han var guvernör i Virginia 1786–1788. 1787 var han delegat till konstitutionskonventet i Philadelphia, där USA:s konstitution i sin ursprungliga form antogs. Där undertecknade han inte det antagna dokumentet. I stället hade han introducerat den sk. Virginiaplanen, som han trodde skulle leda till en bättre maktfördelning. Det följande året var han ändå en anhängare av ratificeringen av konstitutionen, något som han ansåg att hade blivit en nödvändighet.
Som justitieminister i USA:s första kabinett var han en neutral förmedlande kraft som balanserade i fejden mellan Thomas Jefferson och Alexander Hamilton. När han efterträdde Jefferson som utrikesminister, försökte han på samma sätt balansera mellan Frankrike och Storbritannien, något som ingendera makten uppskattade.
