Flaherty giocò nella NFL principalmente coi New York Giants con cui vinse il campionato NFL nel 1934[1]. Si ritirò come giocatore nel 1935 e il suo numero 1 fu immediatamente ritirato dalla franchigia, il primo numero della storia ad essere ritirato nella storia dei quattro maggiori sport professionistici americani. I maggiori successi, Flaherty li ottenne però come capo-allenatore dei Washington Redskins. Guidati sul campo dal quarterbackSammy Baugh, la squadra vinse quattro titoli di division (1936, 1937, 1940, 1942) e due campionati NFL nel 1937 e nel 1942. Flaherty servì nella Marina degli Stati Uniti fino al 1945. Al suo ritorno, accettò il ruolo di capo-allenatore dei New York Yankees nella All-America Football Conference con cui vinse due titoli di division nei due anni di permanenza. Lasciò gli Yankees a metà della stagione 1948 e trascorse il 1949 come allenatore dei Chicago Hornets sempre nella AAFC.
Tra le sue innovazioni, Flaherty è accreditato per aver inventato lo screen pass nel 1937.