Hiffernan was rooms-katholiek; geboren in Ierland in 1843 als dochter van Patrick Hiffernan en Katherine Hiffernan, geboortenaam Hickey. Zij en haar familie verhuisden wellicht vanuit Ierland naar Londen tijdens de Ierse hongersnood van 1845 tot 1848. Ze betrokken een woning in Newman Street 69. Uit de spelfouten in haar nagelaten brieven blijkt dat ze een bescheiden opleiding genoot. Haar vader, Patrick Hiffernan, werd door Whistlers vrienden, Joseph Pennell en zijn vrouw Elizabeth, omschreven als 'Kapitein Costigan', de dronken Ier uit de roman The History of Pendennis van William Makepeace Thackeray. De Pennells beschreven hem eveneens als 'een leraar in beleefde chirografie (kalligrafie)' die over Whistler sprak als 'mijn schoonzoon'. Hiffernans moeder overleed in 1862 op 44-jarige leeftijd. De kunstenaar Walter Greaves, die in 1863 les kreeg van Whistler, en die Hiffernan goed kende, vertelde dat ze een zoon had die Harry heette, maar er is geen spoor van hem te vinden in de officiële archieven.
Kunstenaarsmodel
Whistler ontmoette de zeventienjarige Jo Hiffernan voor het eerst in 1860 in een atelier op Rathbone Place. Rond 1861 begon hij een zes jaar durende relatie met haar. Tijdens deze periode stond zij model voor enkele van zijn beroemdste schilderijen. Ze was fysiek opvallend en haar persoonlijkheid nog indrukwekkender. Whistlers biografen en vrienden, de Pennells, schreven over haar:
Ze was niet alleen mooi. Ze was intelligent, ze was sympathiek. Ze gaf Whistler het constante gezelschap waar hij niet zonder kon.
Whistlers familie keurde deze relatie af. Ongetrouwde modellen van kunstenaars, en vooral zij die naakt poseerden, beschouwde men in die tijd als weinig beter dan prostituees. Toen Whistlers moeder in 1864 vanuit Amerika op bezoek kwam, zocht men een alternatief onderkomen voor Hiffernan.
Hiffernan en Whistler verbleven in Frankrijk in de zomer van 1861. Tijdens de winter van 1861-1862, in Parijs, stond Hiffernan model voor Symphony in White, No. 1, Girl in White, in een studio op de Boulevard des Batignolles. In 1864-1865 poseerde ze voor Symphony in White, No. 2: The Little White Girl. Het is mogelijk dat ze in die periode Whistlers vriend en collega-kunstenaar Gustave Courbet ontmoette, voor wie ze later model stond. Hiffernan wordt genoemd als een van de mogelijke modellen voor Courbets L'Origine du monde, waarop de vulva van een naakte vrouw is afgebeeld.
Samen met Whistler woonde ze in 1863 seances bij in Dante Gabriel Rossetti's huis in Chelsea. De zomer en herfst van 1865 brachten ze door in Trouville.
Wanneer Whistler, in 1866, zeven maanden in Valparaíso verbleef, gaf hij Hiffernan volmacht over zijn zaken; waarbij hij voorzieningen trof voor de huishouduitgaven en haar de bevoegdheid gaf op te treden als agent bij de verkoop van zijn werken. Ze noemde zichzelf Mrs. Abbot, naar Whistlers tweede voornaam, vooral wanneer ze zijn schilderijen verkocht aan kunsthandelaars om geld bijeen te krijgen.
Tijdens Whistlers afwezigheid reisde Hiffernan naar Parijs en poseerde daar voor Courbets Le Sommeil (De Slaap), waarop twee naakte vrouwen in bed liggen te slapen. Evenals voor de olieverfschets Portrait de Jo (Portret van Jo) en La belle Irlandaise (De mooie Ierse), waarvan vier versies bestaan. Het is waarschijnlijk dat ze tijdens deze periode een verhouding had met Courbet. Na het einde van zijn relatie met Hiffernan liet Whistler een testament na waarvan zij begunstigde was.
Latere jaren
Nadat zij en Whistler uit elkaar gingen, hielp Hiffernan bij de opvoeding van Whistlers zoon, Charles James Whistler Hanson (1870-1935), het resultaat van een affaire met een dienstmeisje, Louisa Fanny Hanson. Toen Whistler in Venetië verbleef met Maud Franklin, zijn toenmalige minnares, woonde Charles bij Hiffernan op 5 Thistle Grove tot in 1880.
Van Hiffernan is na 1880 weinig bekend. Op 18 december 1882 schreef een vrouw in een brief aan Juliette Courbet (1831-1915), de zuster van Gustave Courbet, dat 'het mooie Ierse meisje' in Nice verbleef, waar ze antiek en enkele schilderijen van Courbet verkocht.
De kunstverzamelaar Charles Lang Freer ontmoette Hiffernan in 1903, toen hij een kistdrager was bij Whistlers begrafenis, waar zij in zware rouw naar voren kwam om hem de laatste eer te bewijzen. Zijn collega-kunstmecenas Louisine Havemeyer (1855-1929) beschreef het voorval later zoals zij het van Freer hoorde:
Toen zij haar sluier ophief en ik (...) het dikke golvende haar zag, hoewel grijs gestreept, wist ik meteen dat het Johanna was, de Johanna van Etretat, 'La belle Irlandaise' die Courbet had geschilderd met haar prachtige haar en een spiegel in haar hand.... Ze bleef een hele tijd naast de kist staan, bijna een uur denk ik. Ik kon het niet helpen ontroerd te zijn door de gevoelens die ze naar haar oude vriend toe toonde.
Galerij
Wapping, 1861, James Abbott McNeill Whistler
Jo, 1861, James Abbott McNeill Whistler
Weary, 1863, James Abbott McNeill Whistler
Symphony in White, No. 2, 1864, James Abbott McNeill Whistler
Symphony in White, No. 3, 1865-1867, James Abbott McNeill Whistler