En novembre 1786, il épouse Céleste Talour de La Cartrie, veuve d'un premier mariage avec Chappot de la Brossardière[1]. Dans ses mémoires, Toussaint Ambroise Talour de la Cartrie décrit son beau-frère comme un « élégant cavalier de cinq pieds et dix pouces [2] du caractère le plus aimable et d'une belle prestance »[3].
Entre 1788 et 1790, le bataillon de Bulkeley est envoyé à l'Île-de-France (Île Maurice)[1]. À son retour en France, Bulkeley démissionne et se retire au château de Brossardière, à La Roche-sur-Yon[1].
Bulkeley et de Chouppes établissement un camp à La Roche-sur-Yon, où 300 hommes, la moitié armés de fusils, sont maintenus en permanence[1]. Ils instaurent également un « Conseil provisoire d'administration et de justice »[1].
Quelques témoignages de patriotes présentent William Bulkeley comme étant « d'un caractère doux », mais laissent un jugement plus défavorable à propos de son épouse, Céleste[1]. Le 29 août, le juge de paix Hillaireau rapporte notamment que, avant de fuir La Roche-sur-Yon, certains insurgés soutenus par Céleste Bulkeley réclament la mise à mort des prisonniers patriotes détenus dans la ville, mais que William Bulkeley et de Chouppes s'y opposent[1].
Conduits devant la commission militaire révolutionnaire d'Angers, William et Céleste Bulkeley sont condamnés à mort le 2 janvier 1794[1]. Céleste se déclare enceinte et obtient un sursis, mais William est guillotiné le jour même[1],[Note 1].
« Notre sainte mère guillotine travaille. Elle a fait depuis trois jours, la barbe à onze prêtres, une ci-devant religieuse, un général et un superbe Anglais de six pieds dont la tête était de trop. Elle est dans le sac aujourd'hui[9],[3]. »
Lionel Dumarcet, François Athanase Charette de La Contrie : Une histoire véritable, Les 3 Orangers, , 536 p. (ISBN978-2-912883-00-1).
Émile Gabory, Les femmes dans la tempête : Les Vendéennes, Perrin, , 308 p.
Toussaint Ambroise Talour de la Cartrie (trad. Pierre-Amédée Pichot), Un Vendéen sous la Terreur : Précédé d'une étude sur l'insurrection vendéenne par Frédéric Masson, de l'Académie française, Paris, Société des publications littéraires illustrées, , 346 p. (lire en ligne).
Claudy Valin, « La bataille inaugurale dite du "Pont Charrault". Réalité et résonnance », dans Hervé Coutau-Bégarie et Charles Doré-Graslin (dir.), Histoire militaire des guerres de Vendée, Economica, , 656 p.