Han er sønn av byggmester Sámal Mikkelsen og hustru Esther Hansen.[1] Han gikk Føroya Læraraskúli og underviste deretter i folkeskolen i Klaksvík. I 1996 gikk han sammen med Sankey Joensen og sin bror Jóannes Mikkelsen om å kjøpe grossistfirmaet J.F. Kjølbro Heilsøla, hvor han ble daglig leder.[2] Firmaet driver grossistvirksomhet og agentur i matvarer og har 12 ansatte.[3] Mens Jákup Mikkelsen har skjøttet politiske verv, har hans hustru Ester Mikkelsen fungert som daglig leder.
Mikkelsen var medlem av kommunestyret i Klaksvík fra 1984 til 1992.[1] Han møtte som varamann på Lagtinget for Færøyenes statsminister Anfinn Kallsberg fra 2002 til 2004, deretter for innenriksminister Jógvan við Keldu frem til 2005, mens det ennå var valgkretser ved lagtingsvalgene. Mikkelsen var valgt fra Norðoyar. Ved lagtingsvalget i 2008 ble valgkretsene avskaffet, og Mikkelsen ble innvalgt på eget mandat og valgt til formann i Lagtingets velferdskomité og formann i Fólkaflokkurins lagtingsgruppe.
Ved regjeringsdannelsen etter valget i 2011 ble han utnevnt til fiskeriminister. Det ble reist spørsmål ved hans habilitet, ettersom hans svoger Hanus Hansen var en stor fiskebåtreder, men en juridisk betenkning fant Mikkelsen habil.[4] Han valgte likevel å fratre i 2012 og ble formann i Lagtingets utenrikskomité og formann i partiets lagtingsgruppe.[5]
1 Utmeldt av Fólkaflokkurin fra september 2015 til februar 2016. Permisjon som borgermester i Tórshavn fra januar 2017. 2 Permisjon som borgermester i Klaksvík fra januar 2017. 3 Valgt for Javnaðarflokkurin, men meldte seg ut i september 2015. Partiløs frem til hun meldte seg inn i Tjóðveldi i august 2018. 4 Valgt for Sambandsflokkurin, men meldte seg ut i mars 2018. 5 Valgt for Javnaðarflokkurin, men anså seg fristilt fra partiets lagtingsgruppe i januar 2018, og ble ekskludert i januar 2019.
