Urodził się w londyńskiej dzielnicy Hampton jako syn urzędnika służby cywilnej. Wykształcenie odebrał w Hampton Grammar School (1946–1948), St Paul's School w Londynie oraz w Magdalen College na Uniwersytecie w Oksfordzie. Studia ukończył w 1958 r. z tytułem bakałarza historii. Następnie odbył służbę wojskową. Armię opuścił w stopniu porucznika. Pracował dla Royal Dutch Shell zanim został wybrany do Izby Gmin jako reprezentant okręgu Acton w wyborach uzupełniających 1968 r.
W Izbie Gmin zasiadał do wyborów 1970 r., kiedy to przegrał z kandydatem laburzystówNigelem Spearingiem. Do parlamentu powrócił jednak jeszcze w tym samym roku, wygrywając wybory uzupełniające w okręgu St Marylebone. Kiedy ten okręg został zlikwidowany w 1983 r. Baker przeniósł się do okręgu Mole Valley, który reprezentował do 1997 r.
Był ministrem stanu ds. przemysłu i technologii informacyjnej w latach 1981–1984 oraz ministrem stanu ds. samorządu lokalnego w latach 1984–1985. W 1985 r. został członkiem gabinetu jako minister środowiska. W latach 1986–1989 stał na czele resortu edukacji. Na tym stanowisku odpowiadał za uchwalenie Education Act z 1988 r., który wprowadzał kontrowersyjnym program nauczania "National Curriculum". Baker wprowadził również obowiązkowe szkolenia dla nauczycieli znane jako "Baker days".
W 1989 r. został przewodniczącym Partii Konserwatywnej i Kanclerzem Księstwa Lancaster. Pozostał na tym stanowisku do rezygnacji Margaret Thatcher z funkcji lidera partii w listopadzie 1990 r. Nowy lider konserwatystów, John Major, mianował Bakera ministrem spraw wewnętrznych. Okres urzędowania Bakera na tym stanowisku do czas rozruchów w więzieniach oraz wprowadzenia Dangerous Dogs Act.
Po wyborach 1992 r. Baker opuścił gabinet nie chcąc objąć stanowiska ministra ds. Walii. W 1997 r. zrezygnował z ubiegania się o mandat parlamentarny. Został kreowany parem dożywotnim jako baron Baker of Borking i zasiadł w Izbie Lordów.
Baker opublikował w 2005 r. książkę o króluJerzym IVGeorge IV: A Life in Caricature, a w 2007 r. książkę o Jerzym IIIKing George III: A Life in Caricature (obie wydane przez Thames & Hudson). Inne jego publikacje do zbiory poezji, historia karykatury politycznej oraz autobiografia.
Od 1963 r. jest żonaty z Mary Gray-Muir. Ma z nią syna Oswina i dwie córki: Amy Elizabeth i Sophię Alice (ur. 8 lipca1967, żonę Charlesa McVeigha IV).
