Клуб был основан в 1919 году. Поначалу команда принимала соревнования только в местных турнирах, но с 1945 года стала выступать в чемпионатах Финляндии. До начала 70-х годов клубу не удавалось подняться выше третьего дивизиона, в сезоне-1971 «Мариехамн» вышел во второй дивизион, но в нём не удалось закрепиться. В 1975 году команда снова выходит во второй дивизион, а уже в 1977 году дебютирует в первом дивизионе. Сезон-1978 был неудачным, и клуб вернулся во второй дивизион, где играл до 1990 года, когда вылетел в третий. Спустя два года «Мариехамн» вернулся во второй дивизион, где стабильно выступал в дальнейшем. Но с приходом главного тренера Пекка Лююски в 2002 году начались большие перемены: произошёл прорыв вверх по финской системе лиг. Уже в конце сезона 2004 года «Мариехамн» впервые в своей истории вышел в высший дивизион чемпионата Финляндии — Вейккауслигу.
В первом сезоне в Вейккауслиге бело-зелёные до июня держались в верхней части турнирной таблицы, но затем последовало девять поражений в десяти матчах. В итоге клуб занял 12 место из 14-ти команд. Лидером в дебютном сезоне оказался Давид Карлссон, который забил 14 мячей и занял третье место в списке бомбардиров лиги. Это более половины всех мячей, забитых «Мариехамном».
В 2006 году с самого начала сезона клуб был в верхней половине таблицы, до середины лета боролся за медали, но далее последовал провал и серия поражений. Однако отличный финиш принёс клубу 5 место. От еврокубкого 4 места команду отделило 5 очков. Благодаря достойному выступлению клуба, в Мариехамне появился интерес к футболу, местный стадион был полон во время матчей, который реконструировали: поменяли газон, установили искусственное освещение. В ходе сезона хорошо проявили себя центральный защитник Эрик Сандавернин и нападающий Юстус Ваяне, который стал лучшим бомбардиром команды.
В 2007 году «Мариехамн» после первого круга занимал последнее место и имел 9 очков и 7 забитых мячей. Это было неожиданным так как прошлые два сезона выдались довольно удачными. Но во втором круге команда выдала 12-матчевую беспроигрышную серию и заняла 6 место, уступив лишь в последнем туре. Внёс свой вклад в успех во втором круге Давид Карлссон, восстановившийся после серьёзной травмы, из-за которой он пропустил первую половину сезона. Другими ключевыми фигурами на поле были Мика Нискала и Матс Густафссон. Второй год подряд лучшим бомбардиром клуба был Юстус Ваяне.
В 2008 году клуб захватила эпидемия травм, приходилось менять состав и покупать новых игроков. В заявке команды числилось 30 футболистов, из них 15 легионеров, а также 5 вратарей. Они помогли «Мариехамну» сохранить прописку в высшем дивизионе, но несыгранность и постоянная ротация состава не позволили занять высокое место. В итоге 12 место из 14 команд.
2009 год был лучшим в истории клуба. Клуб начал сезон как полностью профессиональный футбольный (не спортивный). «Мариехамн» занял 4 место в Вейккауслиге. Клуб выдал 16-матчевую беспроигрышную серию. Одной из причин успеха было то, что Пекка Лююски внёс изменения в игре, были изучены ошибки прошлого сезона, поменял тактику. Мика Нискала уступил место в основном составе Яни Лююски. Паулюс Араюри был лидером обороны. Хорошо себя проявил вратарь Густав Ломбакка. Тамаш Груборович стал лучшим бомбардиром команды, забив 8 мячей.
В 2010 году «Мариехамну» едва удалось удержаться в высшем дивизионе. Команда заняла 12 место, но от последнего её отделило всего лишь два очка. Было множество проблем в обороне, но никакие изменения главного тренера не могли исправить ситуацию. В заявке числились игроки из 11 стран. Тамаш Груборович и Микко Паателайнен проявили себя как лидеры. Венгерский футболист в июле признавался игроком месяца, забил 10 мячей и стал лучшим бомбардиром клуба. Клуб впервые принял участие в розыгрыше Кубка Финляндии, и дошёл до полуфинала, уступив ХИКу 0:3.
В 2011 году клуб ждали серьёзные усиления. На замену Тамашу Груборовичу пришёл нападающий Алексей Кангсколкка. Также пришли Йонас Эмет, Кристиан Койола и Яркко Вярттё. Однако сезон принёс разочарования: «Мариехамн» занял 7 место. Американский вратарь Джош Уикс хорошо проявил себя по ходу сезона. В Кубке Финляндии «Мариехамн» во второй раз подряд дошёл до полуфинала, но вновь уступил со счётом 0:3, клубу КуПС.
В 2012 году клуб дошёл до четвертьфинала кубка Финляндии, но вновь уступил «КуПСу». В чемпионате команда заняла четвёртое место, не дающее выступать в еврокубках, но прошла в Лигу Европы как один из трёх клубов-победителей рейтинга «Fair Play». Клуб добился этого права впервые за свою историю. «Мариехамн» дебютировал в еврокубках в рамках Лиги Европы сезона 2013/14 на стадии первого квалификационного раунда 4 июля в выездном поединке против азербайджанского «Интера». Игра завершилась со счётом 1:1. В ответном матче в родных стенах «Мариехамн» уступил со счётом 0:2 и прекратил выступление в турнире.
В 2016 году «Мариехамн» впервые в своей истории стал чемпионом Финляндии по футболу, став первым клубом с Аландских островов, выигравшим золотые медали финского национального первенства.
