Dopo la morte di entrambi i genitori, quando aveva solo cinque anni, Lady Sarah fu allevata da sua sorella maggiore Emily FitzGerald, duchessa di Leinster, in Irlanda.
Lady Sarah rifiutò una proposta di matrimonio di James Hay, XV conte di Erroll, prima di sposare Charles Bunbury, figlio maggiore del reverendo Sir William Bunbury, V baronetto, il 2 giugno 1762, nella cappella di Holland House, Kensington, Londra.
In breve tempo, il loro matrimonio fu infelice, e il comportamento di Sarah (tra cui l'adulterio e il gioco d'azzardo), si guadagnò una cattiva reputazione.
Lasciò il marito nel mese di febbraio 1769, dopo la nascita di sua figlia Louisa Bunbury, e fuggì con il suo cugino, Lord William Gordon, il secondo figlio del duca di Gordon. La coppia divorziò il 14 maggio 1776.
Il 27 agosto 1781, sposò l'onorevole George Napier. La coppia ebbe otto figli:
