Był najstarszym synem sir Johna Little Gilmoura, 2. baroneta i Victorii Cadogan, córki wicehrabiego Chelsea.
Kształcił się w Eton College i w Balliol College na Uniwersytecie w Oksfordzie. W latach 1944–1947 służył w Grenadier Guards. Później został dziennikarzem i adwokatem (w 1952 r. rozpoczął praktykę w Inner Temple w Londynie). W latach 1954–1959 był właścicielem i redaktorem magazynu The Spectator.
W 1962 r., w wyniku wyborów uzupełniających, dostał się do Izby Gmin z ramienia Partii Konserwatywnej, do której należał od 11 listopada 1962 roku aż do śmierci[1]. Reprezentował okręg wyborczy Central Norfolk[1]. W 1974 r. zmienił okręg na Chesham and Amersham[1]. W parlamencie zasiadał aż do swojego przejścia na emeryturę w 1992 r.
Gilmour dał się poznać jako zwolennik zniesienia kary śmierci, depenalizacji aborcji i homoseksualizmu oraz członkostwa Wielkiej Brytanii w EWG. W rządzie Edwarda Heatha pełnił różne funkcje w ministerstwie obrony. Najpierw był parlamentarnym podsekretarzem stanu ds. armii (1970–1971), ministrem stanu ds. zamówień obronnych (1971–1972), ministrem stanu ds. obrony (1972–1974) i wreszcie ministrem obrony (1974). Od 1973 r. był również członkiem Tajnej Rady.
Po przegranych przez konserwatystów wyborach 1974 r. Gilmour został członkiem Conservative Research Department. Razem z Chrisem Pattenem odpowiadał za przygotowanie manifestu wyborczego konserwatystów na wybory w październiku 1974 r., które jednak zostały przez Partię Konserwatywną przegrane. Kiedy liderem konserwatystów została Margaret Thatcher Gilmour został ministrem spraw wewnętrznych w gabinecie cieni, w 1976 r. głównym mówcą opozycji ds. obrony. W rządzie Thatcher od 1979 r. pełnił funkcję Lorda Tajnej Pieczęci i reprezentował rząd w Izbie Gmin, odpowiadając za sprawy zagraniczne. Zastępował w Izbie Gmin ministra spraw zagranicznych, lorda Carringtona, który działał w Izbie Lordów. Na tym stanowisku Gilmour brał udział w negocjacjach dotyczących zmniejszenia brytyjskich składek w EWG i przyznania niepodległości Zimbabwe.
Gilmour nie nawiązał dobrych relacji z premier Thatcher, co zaowocowało utratą stanowisk rządowych w 1981 r. W 1989 r. został wprawdzie wybrany przez szeregowych deputowanych jako potencjalny lider Konserwatystów, ale Gilmour, aż do emerytury, nie był aktywnym graczem na brytyjskiej scenie politycznej. W wyborach na lidera konserwatystów w 1990 r. poparł sir Anthony’ego Meyera, który przegrał jednak z Johnem Majorem. W 1992 r. Gilmour otrzymał dożywotni tytuł parowski barona Gilmour of Craigmillar. Od śmierci ojca w 1977 r. był również baronetem. Zmarł po krótkiej chorobie w 2007 r. Nowym baronetem został jego najstarszy syn, David.
Gilmour był politykiem proeuropejskim i przeciwnikiem działań rządu Margaret Thatcher. Wyraz swojemu niezadowoleniu z działań pani premier dawał wyraz w książkach (Dancing with Dogma, Whatever Happened to the Tories) i licznych artykułach, publikowanych m.in. w London Review of Books.
Życie prywatne
10 lipca 1951 r. w Londynie Ian poślubił Caroline Margaret Montagu-Douglas-Scott (17 listopada 1927 – 17 października 2004), córkę Waltera Montagu-Douglasa-Scotta, 8. księcia Buccleuch, i Vredy Lascelles, córki majora Williama Franka Lascellesa. Ian i Caroline doczekali się czterech synów i córki:
David Robert Gilmour (ur. 14 listopada 1952), ożenił się z Sarah Bradstock i ma dzieci.
Oliver John Gilmour (ur. 18 grudnia 1953), ożenił się z Katherine Grenfell i ma dzieci.
Christopher Simon Gilmour (ur. 22 września 1956), ożenił się z Mardi Haynes i ma dzieci.
Jane Victoria Gilmour (ur. 22 marca 1959), wyszła za Petera Johna Pleydella-Bouviere i ma dzieci.
Andrew James Gilmour (ur. 1964), ożenił się z Emmą Williams, nie ma dzieci.