Ruinene av augustinerklosteret finnes på eiendommen. Det ble reist i 1128 av David I av Skottland, og ble brukt i mange kongelige seremonier, som kroninger og bryllup. Taket kollapset i det 18. århundre, og ble ikke reparert.
I det 15. århundre stod det et gjestehus der palassets nordfløy nå ligger. Mange skotske konger bodde der før palasset ble reist, og innen slutten av det 15. århundre var Holyrood i praksis blitt en kongelig residens. Jakob II ble født der i 1430 og ble kronet, gift og bisatt i klosterkirken. Mellom 1498 og 1501 fikk Jakob IV reist en ny bygning, den eldste delen av palasset.
Palasset ble reist rundt en firkant, vest for klosteret. Det hadde kapell, galleri, kongelige leiligheter og en storsal. Kapellet lå der nordfløyen av Great Quadrangle nå ligger, mens dronningens leilighet lå i sørfløyen. I vest lå kongens leilighet og inngangen. Det ble også reist et porthus i to etasjer, som delvis er bevart i Abbey Courthouse. Jakob V bygde på mellom 1528 og 1536, med blant annet det nordvestlige tårnet hvor man finner rommene som ble brukt av Maria I av Skottland.
Tretakene i hovedrommene er fra Maria Is tid, og monogrammene MR (Maria Regina) og IR (Jacobus Rex) viser til henne og sønnen Jakob VI. Skjold med motiver til minne om hennes ekteskap med Frans II av Frankrike antas å ha blitt laget i 1559, men fikk sin nåværende plassering i 1617. Marias suite har et soverom og et audienskammer samt to tårnværelser. I det nordlige tårnværelset ble David Rizzio myrdet den 9. mars1565 i dronningens nærvær. Mange turister har vært overbevist som at de kunne se blodflekker på gulvet der.
Etter at Jakob VI ble konge av England, som Jakob I, i 1603 flyttet han til London. Palasset har siden det ikke lenger vært en permanent kongelige residens. Jakob VI besøkte det igjen i 1617, og Karl I var der i 1633 da han ble kronet som konge av Skottland i Holyrood Abbey.
I 1650 ble palasset brent ned mens Oliver Cromwell og hans soldater var der. Det er uklart om det skjedde ved et uhell eller om det var planlagt. Cromwell fikk bygget opp palasset igjen, men dette ble revet av Karl II av England. Det nåværende palasset er for en stor del fra årene 1671–1679, og ble designet av sir William Bruce. Jakob VII og II bodde der fra 1679 til 1682 etter eksklusjonskrisen.
Palasset mens Elizabeth II var til stede; dette vises av at det skotske kongeflagget er heist.
Senere har britiske monarker vanligvis tilbrakt minst en uke i året med formelt hoff i palasset. Elizabeth II bruker det når hun er i Skottland på formelt besøk; når hun er der uformelt bor hun i privatresidensen Balmoral Castle. Etter at Det skotske parlamentet ble opprettet i 1999 har palasset blitt brukt oftere, spesielt av prins Charles og prinsesse Anne. Det ble en periode antatt at et medlem av kongefamilien, sannsynligvis prinsesse Anne som har sterke bånd til Skottland, ville bosette seg der permanent som dronningens representant, men det ser ut til at dette kun var et rykte. Skottlands førsteminister ble formelt utnevnt av monarken på Holyrood Palace.
Når ingen fra kongefamilien er til stede er palasset åpent for publikum. Queen's Gallery ligger i palasskomplekset, og parlamentsbygningen ligger rett over veien.
