Finsen blev født i Reykjavík 1828 som søn af Maria Nicolina Óladóttir, født Møller, og Ólafur Hannesson Finsen. Han tog studentereksamen 1848 og blev cand.jur.1856. Finsen arbejdede på Islands repræsentationskontor i København fra 1856 til 1858 og blev derefter foged på Færøerne. Han blev valgt ind i Lagtinget fra Suðurstreymoy fra 1869 og fik fast sæde to år senere, da han blev udnævnt til øernes amtmand i 1871. Finsen fratrådte i 1884, da han blev udnævnt til ny stiftamtmand i Ribe Stift. Han blev på denne post indtil sin død 1892.
Finsen var gift to gange. Han var først gift med Johanne Sophie Caroline Christine, født Formann, fra Falster, derefter med hendes kusine Birgitta Kirstine (1840-1930, født Formann, fra Dronninglund). Sammen med Johanne Sofie havde han fire børn: Olaf Finsen (apoteker og borgmester i Tórshavn) og lægen Niels Ryberg Finsen, Elisabeth Finsen og Vilhelm Hannes Finsen. Med Birgitta Kirstine havde han yderligere seks børn. Alle børnene blev født i Tórshavn.
