Terry debuttò nella MLB, passando i primi anni di carriera come riserva del futuro membro della Hall of Fame George Kelly. La prima stagione di alto livello fu nel 1927 quando ebbe una media battuta di .326, con 20 fuoricampo e 121 punti battuti a casa (RBI), finendo 13º nel premio di MVP della National League e chiudendo i suoi giorni da riserva. Nelle successive due stagioni, Terry batté con .326 nuovamente nel 1928 con 101 RBI e poi con .372 nel 1929 con 117 RBI, finendo terzo nel premio di MVP.
Nel 1930, Terry ebbe una stagione storica guidando la National League con .401 in battuta, il primo giocatore a battere sopra .400 da Rogers Hornsby nel 1925 e l'ultimo della storia ad esservi riuscito nella NL. Solo Ted Williams dei Boston Red Sox della American League nel 1941 è riuscito a battere con .400. Terry guidò anche la lega con 254 valide un record della NL condiviso con Lefty O'Doul nel 1929. Quell'anno non fu assegnato dalla lega alcun premio di MVP, ma a Terry fu assegnato il titolo di miglior giocatore della NL da The Sporting News.
