Davis giocò come interbase e in misura minore come terza base ed esterno. Debuttò nelle major league nel 1890 con i Cleveland Spiders e in seguito giocò anche con i New York Giants (di cui fu anche il manager nel 1895 e nel 1900-1901) e con i Chicago White Sox, con cui vinse le World Series nel 1906. Davis batteva sia di destro che di sinistro ed è classificato tra i primi cento in diverse categorie statistiche.
Dopo la sua carriera da giocatore, Davis fu il manager della squadra dell'Amherst College per diversi anni. Morì in un istituto psichiatrico, soffrendo gli effetti della sifilide. Poco era conosciuto della vita e della carriera di Davis fino agli anni novanta, quando ottenne una certa fama grazie agli storici del baseball Walt Lipka, proveniente dalla sua città natale di Cohoes, New York, e da Bill James, che lo definì nel 1995 "il miglior giocatore non eletto nella Hall of Fame",[1] cosa che avvenne tre anni dopo.[2]
