タウンゼンドは一時は大ピットを再任しなければ官職に就かないと主張したが、第1次ロッキンガム侯爵内閣では1765年7月に下級大蔵卿（Lord of Treasury）に就任した[5]。大ピットが1766年にチャタム伯爵に叙され、同年にチャタム伯爵内閣が成立した後も同職に留まり、議会でも与党の立場を崩さず、政府の米州植民地政策を支持し、財務大臣チャールズ・タウンゼンドが議会で植民地への徴税について攻撃を受けたときも彼を弁護した[5]。1767年12月23日、チャタム伯爵の引退に伴い枢密顧問官と陸軍支払長官の1人に任命された[1]。1768年6月、第一大蔵卿の第3代グラフトン公爵オーガスタス・フィッツロイがアイルランド副大蔵卿リチャード・リグビー（英語版）を陸軍支払長官に任命しようとして[注釈 2]、タウンゼンドをアイルランド副大蔵卿に転任させたが、タウンゼンドは「半年ごとにたらい回しにされたくない」と激怒して、就任を拒否して辞任した[1]。タウンゼンドの父トマス・タウンゼンドは息子の決定を支持して、息子に1万ポンドを贈ったという[5]。
やがて1782年にノース内閣が倒れて第2次ロッキンガム侯爵内閣が成立すると、タウンゼンドは1782年3月27日に戦時大臣に就任したが、その4か月後に首相の第2代ロッキンガム侯爵チャールズ・ワトソン＝ウェントワースが死去すると、内閣はチャールズ・ジェームズ・フォックスの党派と第2代シェルバーン伯爵ウィリアム・ペティの党派とで分裂、タウンゼンドはシェルバーン派に属した[1]。このときはシェルバーン伯爵が首相に就任したため、タウンゼンドはその後任として内務大臣に就任、また名目上の庶民院院内総務にもなったが、実際には与党側の庶民院対策が小ピットの責務になっていた[1]。シェルバーン伯爵内閣における最大の争点はアメリカ独立戦争の講和であり、タウンゼンドは1783年2月に予備講和条約を擁護して演説したが、結局フォックス派とノース派の反対により採決には敗れた[1]。ジョージ3世はタウンゼンドの功労を認め[1]、1783年3月6日にタウンゼンドをグレートブリテン貴族であるケント州におけるチズルハーストのシドニー男爵（Baron Sydney of Chislehurst）に叙した[4]。爵位名について、最初に先祖のアルジャーノン・シドニーを記念して綴り違いの「シドニー男爵」（Baron Sidney）にしようとした後、家族からの反発を恐れて邸宅近くの地名シデナム（英語版）も検討し、最終的に「シドニー男爵」（Baron Sydney）に落ち着いたという経緯がある[6]。
1784年に提出された小ピットの東インド法案（英語版）に反対したが[1]、同法により成立したインド庁（英語版）の長官に就任した[2]。ほかにも1787年に小ピットの奴隷規制法案に反対する演説をした（反対票は投じなかった）など不和が生じたため、1789年6月に辞任した[1][3]。辞任に伴い、1789年6月11日にグレートブリテン貴族であるグロスタシャーにおけるセント・レオナーズのシドニー子爵に叙され[4]、さらに同月に南トレント巡回裁判官（英語版）に任命された（毎年2,500ポンドの収入がある官職[1]）。1793年にもケント副統監（Deputy-Lieutenant of Kent）の1人に任命されたが、以降政治にほとんど関わらなくなった[1]。
