Hij is in Boston geboren in een uit Ierland geëmigreerd gezin; Joe was de oudste van drie zoons. Zijn vader speelde ook accordeon en zijn moeder speelde viool. Joe begon les te nemen op tienjarige leeftijd bij Jerry O'Brien, een accordeonist die gespeeld had bij Joe O'Leary's Irish Minstrels. Later ging hij spelen met bands zoals Johnny Powell's Irish Dance Band, The Stars of Erin, The Galway Bay Band, The Irish All-Stars and The All-Star Ceili Band. Voor het spelen van Ierse traditionele muziek kwam hij terug op het Irish Folk Festival te Wolf Trap Farm Park. Sindsdien produceerde Derrane een aantal albums.
Discografie
Heruitgave op CD van 78 toeren platen uit de late veertiger jaren, 1993
Irish Accordion, 1993
Give Us Another, 1995
Irish Accordion Masters (1995)
Return to Inis Mor, 1996
The Tie That Binds, 1998
Ireland's Harvest, met Frankie Gavin en Brian McGrath, 2002
The Boston Edge, met Seamus Connolly en John McGann, 2004
