A szabadságharc idején nemzetőrnek jelentkezett, de fiatal kora miatt nem vették be. Ezután a bencés rendbe lépett, de 1852-ben az érettségi vizsga után otthagyta a rendet, és jurátusnak ment, de tanulmányait betegsége miatt abba kellett hagynia.
1858-tól tanított Egerben, 1860-tól Baján, 1861-től 1869-ig Pozsonyban — eközben letette a tanári vizsgát. 1869-től 1881-ig Pesten volt gimnáziumi tanár, de 1879-ben súlyos szembaj támadta meg. Hamarosan teljesen megvakult, és 1881-ben nyugalomba kellett vonulnia.
Munkássága
1858-ban jelentek meg első tárcái a Hölgyfutárban, majd a Bajai Közlönyben és az Aldunai Lapokban is közölt humoros írásokat Pap Rika álnéven. Az Aldunai Lapoknak egy ideig társszerkesztője is volt.
Nyelvészeti munkásságával országos hírnévre tett szert, ezért az MTA őt bízta meg a magyar nyelv kutatását és művelését szolgáló folyóirat alapításával. Ez a lap lett az 1872-ben indult Magyar Nyelvőr. Az új folyóirat ügyének megnyerte a magyar nyelvtudomány legtehetségesebb munkásait (Simonyi Zsigmondot, Szinnyei Józsefet, Munkácsi Bernátot stb.).
Lankadatlanul küzdött a magyartalan szóalkotások ellen, és kiváló etimológiai cikkeket írt. Állást foglalt az idegenszerű fordulatok és az erőszakos nyelvújítás ellen. Kutatásaival tisztázta a nyelvújítás határait. Budenz Józseffel és Szilády Áronnal szerkesztette a Nyelvemléktár I–III. kötetét (Budapest, 1874–1875), Simonyi Zsigmonddal a Magyar Nyelvtörténeti Szótárat. Tagja volt a helsingforsifinn-ugor társaságnak.
Egy szobra a budapesti Széchenyi István téren, az MTA székháza előtt áll — a mellékalakos bronzmellszoborJankovits Gyula alkotása (1899). Teljes magassága: 3,65 m. A 274 cm-es mészkő talpazathoz fiatal lány körülbelül 150 cm magas bronz aktja simul, és babérágat nyújt Szarvas Gábor felé. A bronz mellszobor 90 cm magas. A talapzat alján a Magyar Nyelvőr egy kötete látható. A talapzat felirata: SZARVAS GÁBOR.