Градњу замка је започео 1628. године Џон Ерскин (1558—1634), VII ерл од Мара, као бедем против моћи Фаркхарсона. Током краткотрајне побуне Јакобита1689. године, замак је спалио Црни пуковник (Џон Фаркхарсон од Инверија), а 1715. године је страдао од стране краљевских снага. Краљевске власти су 1748. године изнајмиле замак на 99 година од клана Фаркхарсон. Они су га реновирали да би служио као касарнагарнизона, како би смирили немирну провинцију Мар.
Иако је Бремар био изнајмљен на 99 година, гарнизон се повукао из њега 1797. године и враћен је Фаркхарсонима од Инверколда. Џејмс, десето дете Џона Фаркхарсона, који је наследио оца 1750. године проширио је замак и имања, пре своје смрти 1805. године.
Једино од једанаесторо Џонове преживеле деце, ћерка Катарина Фаркхарсон, је наследила Бремар након очеве смрти. Она се 1799. године удала за Џејмса Роса од Балнгована, другог сина познатог адмирала, серЧарлса Локхарт Роса. Након смрти Катарининог брата, њен супруг је узео презиме Фаркхарсон, чиме је оезбеђен наставак лозе Фаркхарсон.
