Op de plaats waar San Rafael zich nu bevindt, waren er vroeger dorpen van de Coast Miwok-indianen, zoals Awani-wi, Ewu en Shotomko-cha. De eerste Spaanse nederzetting kwam er door de oprichting van de San Rafael Arcángel-missie in 1817, in wat nu het centrum van San Rafael is. Het was de twintigste franciscaner missie in provincie Alta California, dat vier jaar daarna een provincie van het onafhankelijke Mexico zou worden. De missie was oorspronkelijk bedoeld als een hospitaal voor de zieke indianen uit de koude missie van San Francisco. Deels door het goede weer in de streek werd San Rafael een volwaardige missie in 1822. Ze werd in 1844 gesloten. De ruïnes werden in 1870 geruimd om er de stad San Rafael op te bouwen. (De huidige missiekerk dateert uit 1949.)
De San Francisco and North Pacific Railroad bereikte San Rafael in 1879 en werd in 1888 op het nationale spoornet aangesloten. In de jaren 1870 en 80 bouwden rijke families hun villa's in de omgeving van de voormalige missie.[1] De Dominican University of California werd in 1890 in San Rafael opgericht om de nieuwe Californiërs van een degelijke katholieke opleiding te voorzien.
De bevolking van San Rafael bedraagt, volgens de volkstelling van 2010, 57.713. De bevolkingsdichtheid is 993,8 personen per km².[3] De etnische samenstelling is als volgt: 70,6% blank, 6,1% Aziatisch, 2,0% Afro-Amerikaans, 1,2% indiaans en 0,2% van de eilanden in de Stille Oceaan. Daarnaast is 14,8% van een ander ras en 5,1% twee of meer rassen. 30% van de totale bevolking identificeert zich als Latino of Hispanic.