Heart of Midlothian u themelua në 1874. Klubi besohet të jetë emëruar pas tregimit të shkurtër të Sir Walter Scott "Zemra e Midlothian". Kapiteni i parë i klubit ishte Tom Purdie.
1895 dhe në vitin 1896 ekipi i klubit u bë kampion i Ligës Skoceze të Futbollit, 1891–1906. fitoi Kupën e Skocisë katër herë. Për gjysmë shekulli (1906-1954) nuk pasoi asnjë ligë e madhe apo fitore e kupës. 1955 Kupa e Skocisë fitoi përsëri, 1958 dhe vitet 1960 - Kampionati, 1959, 1960 dhe 1963 fitoi kupën edhe tre herë.
Në vitet 1970, klubi luajti disa sezone jashtë ligës së lartë, dhe më pas skuadra e klubit nuk arriti lartësi të mëdha. 1998, 2006 dhe 2012 fitoi Kupën e Skocisë.
Që nga viti 2005, 80 për qind Aksionet e Hearts ishin në pronësi të Vladimir Romanovas, Valdas Ivanauskas punoi si trajner i ekipit që nga fundi i marsit. 2005-2006 sezoni ishte mjaft i suksesshëm për ekipin, duke fituar Kupën Skoceze të Futbollit dhe duke përfunduar i dyti në ligë, duke i fituar të drejtën për të përfaqësuar Skocinë në UEFA Champions League. Deri në këtë sezon, dy vendet e para të Premiership Skoceze janë zënë dhe janë luajtur në Champions League nga vetëm dy klube skoceze, Rangers dhe Celtic (të dyja nga Glasgow).