Er vertrat von 1784 bis 1803 den Bezirk Tiverton im Unterhaus. Den Sitz hatte zuvor unter anderen sein Vater innegehabt. Ab 1790 hatte er verschiedene nachgeordnete Regierungsämter inne. Insbesondere war er von 1790 bis 1801 Vizepräsident des Board of Trade.
Das Amt des Premierministers, das ihm nach dem Tode von George Canning angetragen worden war, lehnte Ryder ab, weil er nicht unter König Georg IV. dienen wollte. Danach übernahm er keine Ämter mehr, blieb aber aktiv in der Politik; so spielte er eine prominente Rolle bei der Durchsetzung des Reform Act 1832.