A primeira referencia histórica data de tempos de San Columba, na segunda metade do século VI, cunha probábel mención no Vida de Columba de Adamnan. Trátase, posibelmente, do lugar chamado Airchartdan polo que San Columba pasou durante unha das súas visitas ao rei Bridei I dos pictos do norte. Columba aproveitou para converter ao cristianismo ao seu anfitrión Emchath e ao seu fillo Virolec. Porén, a referencia que fai Adamnan non é realmente ao castelo senón a "terras de Airchartdan", que indicarían un territorio, non unha localidade; ademais, non se menciona ningunha fortificación. Porén, hai estruturas datadas por radiocarbono entre os anos 460 e 660, polo que resulta posíbel que si existise, aínda que non se sabe cando se construíu.
Si se rexistra a súa existencia a comezos do século XIII. A zona fóraselle concedida á familia Durward en 1229 e estes foron, probabelmente, quen construíron o castelo que coñecemos. En 1296 foi capturado por Eduardo I de Inglaterra. Sir Robert Lauder era o castelán en 1329 e o seu neto Robert (do clan Chisholm) sucedeuno en 1359. O Conde de Ross capturouno para a Coroa inglesa a mediados do século XV pero foi recuperado pouco despois. En 1509 foilles concedido aos Grant, que o conservaron até 1912. Durante este período, os MacDonalds capturáronno en 1545 e tamén foi capturado por unha tropa de Covenantes en 1644. O castelo foi parcialmente destruído en 1692 polos ingleses para evitar que fose capturado polos xacobitas e nunca foi reconstruído.
Na actualidade é propiedade do Patrimonio Nacional Escocés e constitúe o terceiro sitio máis visitado de Escocia. Desde 2001 conta cun centro de visitantes.
