Det vert stundom trudd at brother, som tyder «bror», viser til culdee-munkane som ofte busette slike mindre øyar, men i dette tilfellet har ein ikkje bevis for at dette er tilfelle.
Sidan øya berre har ein storleik på 40 hektar og er omgjeve av sterke tidvasstraumar som gjer det vanskeleg å gå i land, verkar det lite truleg at ho nokon gong har vore busett. Øya var likevel busett fram til 1820-åra, siste gong av brørne Tulloch. Dette har òg gjort at ein feilaktig har trudd at øya er kalla opp etter dei.
