在苏格兰独立战争期间，城堡在英格兰和苏格兰势力之间几度易手，也数次被摧毁和重建。爱德华一世在1296年洗劫了贝里克(Berwick)之后，英格兰人夺得了城堡并在1303年准备将其作为英格兰国王的居所。1314年，苏格兰人在班诺克本（Bannockburn) 取得胜利之后，作为苏格兰国王罗伯特一世的忠实拥趸，威廉·兰伯顿（William Lamberton)主教重回城堡并将其重新修复。在十四世纪30年代，英格兰人重夺了城堡，并在1336年加强了它的防卫。英格兰人最终没有成功守住城堡。在大卫二世幼时摄政的安德鲁·莫雷爵士（Sir Andrew Moray）带兵包围了城堡三周之久，并且攻下了它。 在1336年到1337年间，因为担忧英格兰人卷土重来，苏格兰人索性将城堡拆毁。
之后的数十年里，城堡仍旧是废墟。沃特·特里尔主教（Bishop Walter Trail）在十四世纪末重建了城堡。大约在1400年，新城堡完工，翌年特里尔主教在城堡内去世。今天人们能见到的城堡的基础就是特里尔时代打下的。
宗教迫害
在接下来的数年内，城堡内住过一些重要人物。1410年，詹姆斯一世国王在曾于此师从圣安德鲁斯大学的创立人亨利·瓦德洛主教（Bishop Henry Wardlaw）。詹姆斯二世也曾由詹姆斯·肯尼迪主教（Bishop James Kennedy）。詹姆斯三世就出生在城堡中。
在作为国王住所的这些年间，城堡也是一个臭名昭著的监狱。在西北角的塔楼下的一块岩石中，开凿了一个暗无天日的地牢。地牢关过一些被主教裁定为异端的囚犯。1402年，罗斯塞公爵大卫·斯图尔特（David Stuart, Duke of Rothesay）；1425年，默多克公爵（Duke Murdoch）。1478年，大主教帕特里克·格拉罕（Archbishop Patrick Graham）被裁定为精神失常，并被关在自己的城堡内。
1547年四月双方停战，约翰·诺克斯进入城堡为守军布道，直至围攻结束。诺克斯一度能够自由从城堡内进出，前往教区教堂布道。但随着一只法国舰队的到来，这场短暂的和平结束了。随法军舰队的有一位意大利的工程师莱昂·斯特罗齐（Leone Strozz），他指导舰队对新教徒的据点进行了猛烈的炮击。防守方的意大利工程师观察到敌方的火炮是由绞盘操纵的，这样就可以避免让进攻方暴露在守军的火力中。附近的圣萨尔瓦多礼拜堂和圣安德鲁斯大教堂的塔楼上也架设了火炮，甚至包括一门苏格兰最大的炮。城堡的防御很快被突破，据匹兹柯特的罗伯特·林赛（Robert Lindsay of Pitscottie）说只花了六小时。落败的新教徒一部分被法军带走并囚禁在法国，剩下的包括诺克斯在内的人则被关在船上做苦工。
城堡的没落
新教徒战败后，摄政王的同父异母的弟弟、大主教约翰·汉密尔顿（Archbishop John Hamilton）重修了城堡。1571年，汉密尔顿去世后，城堡主要作为治安官的住所。1606年，苏格兰国会剥夺了主教对城堡的所有权。事实上，自1603年起，邓巴伯爵（Earl of Dunbar)就是城堡的所有者了。1612年，大主教乔治·格拉斯顿（Archbishop George Gledstanes）重新得到了城堡。但试图恢复大主教之前所有地产的尝试全部都失败了。随着宗教改革在苏格兰的最终胜利，主教一职逐渐失去了重要性。威廉三世在1689年最终废除了主教。圣安德鲁斯城堡因为失去了实际功能，很快成为了废墟。直至1656年，因为城堡已经完全失修，圣安德鲁斯自治市议会下令将城堡的部分材料拆下用于修补码头。城堡现存的部分主要是南墙、一座方形塔楼、地牢、厨房塔楼和两条地道。
.jpg)
