Grimes iniziò la carriera nei Pittsburgh Pirates nel 1916 e nel 1917. L'anno successivo fu scambiato con i Brooklyn Robins, in uno scambio che coinvolse diversi giocatori.[1] Quando la cosiddetta spitball (una palla sulla quale veniva sputato per alterarne la resistenza all'aria) fu vietata nel 1920, fu uno dei 17 lanciatori a cui fu consentito di continuare ad utilizzarla.
In seguito lanciò per i New York Giants (1927), di nuovo per i Pirates (1928-1929), i Boston Braves (1930) e i St. Louis Cardinals (1930-1931). Fu poi scambiato con i Chicago Cubs prima della stagione 1932 in cambio di Hack Wilson e Bud Teachout.[2] Fece ritorno ai Cardinals nel 1933 e 1934, dopo di che si trasferì ai Pirates (1934) e ai New York Yankees (1934). Grimes era soprannominato "Ol' Stubblebeard" in riferimento alla sua abitudine di non radersi nei giorni in cui lanciava.[3]
Al momento del ritiro, Grimes era rimasto l'ultimo dei 17 giocatori a cui era consentito di usare la spitball nella lega, vantaggio che sfruttò ottenendo 270 vittorie in carriera. In 19 anni come professionista lanciò in quattro World Series, vincendole in un'occasione, ossia nel 1931 con i Cardinals.[4]
