Lemon crebbe in California dove giocò a baseball alle scuole superiori, venendo premiato come miglior giocatore dello stato nel 1938. All'età di 17 anni iniziò a giocare nel circuito professionistico con i Cleveland Indians, con i quali sarebbe rimasto per tutta la carriera.[2] Lemon inizialmente ricoprì diversi ruoli con gli Indians nelle prime due stagioni (1941 e 1942), prima di arruolarsi nella Marina per la seconda guerra mondiale. Fece ritorno nel 1946, disputando la sua prima stagione come lanciatore.
Gli Indians nel 1948 disputarono le World Series, dove, grazie a due vittorie di Lemon, conquistarono il loro primo titolo dal 1920. All'inizio degli anni cinquanta, la rotazione titolare di Cleveland includeva Lemon, Bob Feller, Mike Garcia ed Early Wynn, un reparto soprannominato "Big Four". Nella stagione 1954, Lemon ebbe un record di 23–7, il migliore in carriera, e gli Indians stabilirono l'allora record di vittorie della American League con 111, conquistando il pennant della lega. Fu convocato per sette All-Star Game consecutivi e per nove anni di seguito vinse almeno venti partite.
Lemon in seguito fu il manager di Kansas City Royals, Chicago White Sox e New York Yankees. Fu premiato come manager dell'anno alla guida di White Sox e Yankees.[3] Nel 1978 fu licenziato dai White Sox e un mese dopo fu assunto come manager degli Yankees, guidando la squadra alla vittoria delle World Series di quell'anno. Divenne così il primo allenatore della AL a vincere il titolo dopo essere subentrato a metà stagione.
