Der Titel wurde insgesamt dreimal verliehen. Die erste Verleihung erfolgte am 10. Dezember 1645 während des Englischen Bürgerkriegs durch König Karl II. an Charles Stewart, dessen Familie den König in vielen Schlachten des Bürgerkrieges unterstützt hatte. Zusammen mit dem Earldom wurde ihm der nachgeordnete Titel Baron Stuart of Newbury verliehen. Beide Titel gehörten zur Peerage of England.
1660 erbte er von seinem Onkel auch die Titel 6. Duke of Lennox und 3. Duke of Richmond (nebst nachgeordneten Titeln). Alle seine Titel erloschen jedoch am 12. Dezember 1672, als er in Dänemark, wo er sich als englischer Botschafter aufhielt, ertrank, ohne männliche Nachkommen zu hinterlassen.
Zweite Verleihung
Zwei Jahre später wurde der Titel am 5. Juni 1674 in der Peerage of England für Sir Edward Lee, 5. Baronet neu geschaffen, der mit Lady Charlotte Fitzroy, einer illegitimen Tochter des Königs aus der Beziehung mit Barbara Villiers, verheiratet war. Zusammen mit dem Earldom wurden ihm die nachgeordneten Titel Viscount Quarendon und Baron Spelsbury verliehen. Er hatte bereits 1664 den Titel Baronet, of Quarendon in the County of Buckingham, geerbt, der 1611 in der Baronetage of England einem seiner Vorfahren verliehen worden war.
Die Titel erloschen am 3. November 1776 beim kinderlosen Tod seines jüngsten Sohnes, des 4. Earls.
Familiensitz der Earls dieser Verleihung war Ditchley House bei Charlbury in Oxfordshire.
Dritte Verleihung
1806 wurde dem Großneffen des berühmten Admirals und Seekriegstheoretikers George Anson der Titel Viscount Anson verliehen.
In dritter Verleihung wurde der Titel am 15. September 1831 in der Peerage of the United Kingdom, anlässlich der Krönung von König Wilhelms IV., an Thomas Anson, 2. Viscount Anson, verliehen. Bereits 1818 hatte er die fortan nachgeordneten Titel Viscount Anson, of Shugborough und Orgrave in the Couny of Suffolk, und Baron Soberton, of Soberton in the County of Southampton, geerbt, die am 17. Februar 1806 in der Peerage of the United Kingdom seinem Vater verliehen worden waren. Heutiger Titelinhaber ist seit 2005 sein Ur-ur-ur-urenkel Thomas Anson als 6. Earl.
