Nelson gick i skola i Clear Lake. Han utexaminerades 1939 från San Jose State College och avlade 1942juristexamen vid University of Wisconsin Law School, varefter han inledde sin karriär som advokat i Wisconsin. Han deltog i andra världskriget som löjtnant i USA:s armé. Efter kriget återvände han till arbetet som advokat i Madison och blev 1948 invald i delstatens senat.[8][9]
Guvernör i Wisconsin
Nelson vann 1958 års guvernörsval i Wisconsin. Han profilerade sig som en miljövän redan som guvernör. Med hjälp av en skatt på cigaretter lyckades han finansiera ett banbrytande miljöprogram.[10]
Ledamot av USA:s senat
Nelson var 46 år gammal då han 1962 blev invald i senaten. År 1969 fick han idén om att fira Jordens dag. Han var på besök i Santa Barbara för att delta i en konferens. Olja hade läckt ut i havet utanför Kaliforniens kust och Nelson tänkte på hur han kunde få miljöfrågorna mer synliga. Han blev inspirerad av rörelsen mot Vietnamkriget som lyckades informera högskolestuderande med hjälp av tillställningar som kallades teach-ins. Han tänkte ordna någonting liknande i hela USA om miljön.[11]
När Joe Bidens fru och dotter 1972 omkom i en bilolycka, fick Biden som tillträdande senator för Delaware stöd från Gaylord och hustrun Carrie Lee Nelson. Inledningsvis övervägde Biden att avbryta sin politiska karriär, men Nelson lyckades övertala honom att fortsätta, och under ett halvår fick Biden till stora delar bo hos Nelsons. Nelson var en av senatens ledande liberala demokrater. George McGovern skulle gärna ha sett honom som sin vicepresidentkandidat i presidentvalet i USA 1972 men Nelson var inte intresserad.[12]