Området er i stor grad overlappende med den geografiske Santa Clara-dalen, selv om også enkelte steder som ligger noe utenfor Santa Clara-dalen (som for eksempel Palo Alto og Fremont) regnes med til Silicon Valley.
Silicon Valley-området var opprinnelig befolket av amerikansk urfolk av Ohlone-stammen. På 1700-tallet kom spanjoler fra Mexico og i 1849 ankom en rekke europeere til dalen på grunn av gullrushet. Så sent som på 1950-tallet besto Silicon Valley i stor grad av jordbruksland.[3]
Silicon Valley vokste raskt i etterkrigstiden, blant annet gjennom militære investeringer.[7] Den virkelig store revolusjonen kom først med den første ekte PC-en, fra Apple Computer. Apple ble grunnlagt i Cupertino i 1976 av Steve Jobs og Steve Wozniak – og i likhet med de tidligere nevnte gigantene var Apple en av de første og største kreftene i Silicon Valley.[8] Sammen la foretak som disse grunnlaget for vår tids datamaskiner og dagens informasjonssamfunn.