På 1600- och 1700-talen var ön av staden uthyrd betesmark. År 1830 fick köpmannen Fredric Emanuel Ekebom tillstånd att anlägga ett varv på ön, vilket var verksamt på ön fram till 1881.
I slutet av 1800-talet blev den bredvidliggande Högholmen en rekreationsplats för stadens invånare, då en restaurang, en karusell och en djurpark byggdes där. Samtidigt blev då Vrakholmen en attraktiv plats för bostäder, och två varvsbyggnader gjordes om till villor på 1880-talet enligt ritningar av arkitekten F.W Mieritz. Denne hyrde ön av staden 1881 och bodde själv i en annan villa, nuvarande Villa Ida. Efter Mieritz död grundade hans son Frithiof Mieritz Finlands första cementgjuteri på ön 1888, men det gick i konkurs redan året därpå.
I början av 1900-talet flyttade Helsingfors lotsstation från Skanslandet till Vrakholmen. Öns mest synliga landmärke, den gamla lotskaernen, stod färdig 1910 och höjdes med två våningar 1928. Därefter bodde upp till 23 familjer i byggnaden. Kasernerna ritades av arkitekten Georg Wasastjerna och förhöjningen av Gustaf Adolf Sundelin (1864-1944).
År 1912 byggdes en liten gasfabrik på öns norr ända, vilken tillverkade acetylengas som bränsle i fyrar. Staten exproprierade ön från Helsingfors stad 1931.
Lotsstationen fanns på Vrakholmen till 1962. Den sista invånaren flyttade ut från lotsbaracken i januari 1966. År 1973 inrättades där efter en renovering Finlands sjöhistoriska museum. Museets grundutställning var öppen på ön 1983–2004. Gasfabriken upphörde med sin verksamhet på 1960-talet och dess byggnad gjordes om till en maritim museivårdsanläggning på 1980-talet.
Sjöfartsmuseet flyttade till nya lokaler i Maritimcentret Vellamo i Kotka 2007. Ön och dess byggnader - de kvarvarande Villa Ida och den gamla kasernbyggnaden - övertogs av Senatfastigheter, som sålde ön i april 2021 till Valo Investments Group Holding Oy.
Referenser
Denna artikel baseras på artikeln Hylkisaari på finskspråkiga Wikipedia.