I november 1936 ble Carey kjøpt opp av Manchester United fra den irske klubben St. James's Gate for 250 pund, noe som var irsk overgangsrekord på den tiden. Han debuterte for United 23. september året etter.
Etter å ha vunnet FA-cupen i 1948, ble han ligamester i 1952-53 med United. Han spilte totalt 342 kamper og scoret 18 mål for Manchester-klubben.
Etter spillerkarrieren var han først en del av trenerstaben i Manchester United, før han ble manager for blant annet Blackburn Rovers, Everton og Nottingham Forest. Fra 1955 til 1967 var han også hovedtrener for landslaget til Irland, noe som på den tiden ikke innebar annet at han var en uttakningskomités forlengede arm.[1]