Klubbhuset var de første tre årene i Carlton Terraces, derav navnet. I 1835 var arkitekten Robert Smirkes praktbygg for klubben innflyttingsklar på Pall Mall. Dette huset ble ødelagt i 1940 under luftangrepene på London under annen verdenskrig. Deretter flyttet klubben til St James’ Street 69.
Det var i Carlton Club at backbenchers i det konservative parti i 1922 bestemte seg for å distansere seg fra sin partisjef Austen Chamberlain og trekke seg fra regjeringskoalisjonen ledet av David Lloyd George. I 1977 ble Junior Carlton Club grunnlagt. Den 25. juni 1990 ble det utført et bombeangrep mot klubben, tilskrevet IRA. En portier ble drept.
Tidligere kunne bare menn få fullverdig medlemskap, mens kvinner kunne gis assosiert status uten fullverdig tilgang. Denne regelen ble endret i 2016.[1]