1843 wurde er Mitglied des Privy Council. Von 1843 bis 1845 war er Vizepräsident und von 1845 bis 1846 Präsident des Board of Trade. In diesen Ämtern verteidigte er die Aufhebung der Schutzzölle und widmete den Eisenbahnfragen besondere Aufmerksamkeit. Er schloss sich später der politischen Fraktion der „Peelites“ unter Robert Peel an. Nachdem er im Juli 1846 mit dem Kabinett unter Robert Peel zurückgetreten war und es abgelehnt hatte, sein Amt unter John Russell beizubehalten, wurde er 1847 zum Generalgouverneur von Indien ernannt, wo er im Januar 1848 eintraf. Im selben Jahr wurde er als Knight Companion in den Distelorden aufgenommen.
Bald nach seiner Ankunft begann der Zweite Sikh-Krieg, der 1849 nach manchen Wechselfällen mit der Annexion des bisherigen Sikhstaats endete. Mit Birma führte er den Zweiten Anglo–Burmesischen Krieg, der die Annexion des mittleren Teils von Birma zur Folge hatte. Broun-Ramsay erhielt dafür 1849 den Dank des Parlaments und wurde am 25. August 1849 zum Marquess of Dalhousie erhoben. Insbesondere war aber seine Verwaltung für die innere Entwicklung des Landes und namentlich die Ausbildung seiner Verkehrsmittel wichtig. Wesentlich auf seine Veranlassung entstand das meist durch Aktiengesellschaften erbaute Eisenbahnnetz, 4.000 MeilenTelegraphenleitungen und 2.000 Meilen Landstraßen wurden unter ihm angelegt. Auch die Errichtung von Gesundheitsstationen für Truppen wie Beamte sowie die Organisation einer geordneten Verwaltung im Punjab wie in Birma war sein Verdienst. 1853 wurde er zum Lord Warden of the Cinque Ports ernannt.
Kritisiert wurde dagegen sein Vorgehen gegen das dicht bevölkerte Königreich Avadh, das im Herzen von Hindustan gelegen war. Schlechte Regierung und Nichterfüllung der Verträge, welche die Nawabs von Awadh mit der ostindischen Regierung geschlossen hatten, führten zur Annexion dieses Landes. Sie wurde nach Broun-Ramsays Abtreten von der Regierung vollzogen, musste aber, da sie von Broun-Ramsay eingeleitet wurde, ihm zur Last gelegt werden. Die Vorgänge waren einer der Hauptauslöser für den Sepoy-Aufstand von 1857.
Aus gesundheitlichen Gründen legte Broun-Ramsay im März 1856 sein Amt nieder und lebte seitdem zurückgezogen im Vereinigten Königreich. Er starb nach längerem Leiden auf seinem Stammsitz Dalhousie Castle.
Da er keine männlichen Nachkommen hatte erloschen sein Marquesstitel und sein britischer Titel als Baron Dalhousie. Seine schottischen Titel als 11. Earl of Dalhousie fielen an seinen Cousin Fox Maule-Ramsay, 2. Baron Panmure.