Родоначальник этого клана, Фернандо Гарсия, появляется в хрониках на рубеже XI и XII веков. О происхождении его нет точных сведений. Представители рода Кастро издавна считали его внебрачным сыном галисийского короля Гарсии. Это позволяло им считать свой род побочной ветвью древнейшей кастильской династии Хименесов.
Вопрос о происхождении рода Кастро остаётся дискуссионным. Современный испанский генеалог Хайме Салазар-и-Ача держится мнения, что Фернандо Гарсия был сыном графа Гарсии Ордоньеса и инфанты Урраки Гарсес, внебрачной дочери короля Гарсии III и Эстефании де Фуа. Первой сеньорией, с которой началось наращивание земельных владений Кастро, было местечко Кастро-Херис в Кастилии.
Брат знаменитой Инес де Кастро и кастильской королевы Хуаны, Фернан Руис де Кастро, взял в жёны внебрачную дочь кастильского короля Альфонса XI, получив от него в 1366 г. титул графа Лемоса в Галисии. Он был третьим носителем этого титула, закрепившегося с тех пор в роду Кастро.
Поскольку титул графа Лемос был создан ещё в Средние века, задолго до инфляции титулов, его значение не уступало позднейшим титулам герцогского достоинства. Граф Лемос всегда признавался одним из первых сановников кастильской короны. В продолжение золотого века Испании наиболее известными его носителями были 7-й, или великий граф Лемос (1576—1622), вице-король Неаполя, и 10-й граф Лемос (1632-1672), вице-король Перу.
Много содействовал укреплению позиций Кастро при дворе и украшению их любимого Монфорте-де-Лемоса дядя 7-го графа — кардинал и севильский архиепископ Родриго де Кастро (1523—1600), один из доверенных советников короля Филиппа II.
В середине XVIII века после пресечения прямой линии рода Кастро их титулы перешли к герцогам Бервикам (побочная ветвь Стюартов), которые позднее стали герцогами Альба.
Список графов Лемос
Альвар Нуньес Осорио (ум. 1329), 1-й граф Лемос, Трастамара и Саррия (1325/1327 — 1329), сын Альвара Родригеса Осорио, сеньора Вильяорнате, и Эльвиры Нуньес. Король Альфонсо XI конфисковал у Альвара Нуньеса Осорио графство Лемос, позднее передав его своему внебрачному сыну Энрике.
Энрике де Трастамара (13 января 1334 — 29 мая 1379), 2-й граф Лемос, Трастамара и Саррия, позднее король Кастилии под именем Энрике II (1366—1367, 1369—1379), внебрачный сын короля Кастилии Альфонсо XI. В 1366 году король Педро I Жестокий, сводный брат Энрике Трастамары, конфисковал его галисийские владения и передал их Фернандо Руису де Кастро.
Фернандо Руис де Кастро (ум. 1377), 3-й граф Лемос, Трастамара и Саррия (1366—1377), сын Педро Фернандеса де Кастро (ок. 1290—1342) и Изабель Понсе ле Леон (ум. 1367), брат Инес де Кастро (1325—1355), жены короля Португалии Педру I и Хуаны де Кастро (ум. 1374), жены короля Кастилии Педро I.
Педро Энрикес де Кастилия (ок. 1355 — 2 мая 1400), 4-й граф Лемос, Трастамара и Саррия (1377—1400), 2-й констебль Кастилии. Внебрачный сын Фадрико Альфонсо Кастильского (1334—1358), внук короля Альфонсо XI и племянник короля Энрике II. С 1385 года женат на Изабель де Кастро ум. 1404), благодаря браку с которой получил во владение города Понферрада и Вильяфранка-дель-Бьерсо.
Фадрике Энрикес де Кастилия (1388 — 22 марта 1430), 5-й граф Лемос, Трастамара и Серрия (1400—1429), единственный сын предыдущего. В 1429 году король Кастилии Хуан II конфисковал у него все владения и титулы, а самого графа заключил в замок Пеньяфьель, где он и скончался год спустя. Его сестра Беатрис Энрикес (1398—1455), став женой Педро Альвареса Осорио, сеньора Кабрера и Рибера, смогла вернуть себе имущество своего покойного брата, конфискованные ранее королем.
Педро Альварес Осорио (ок. 1410 — 19 февраля 1483), 1-й граф Лемос. Его брак в 1433 году с Беатрис Энрикес привел с передаче ему в наследственное владение графства Лемос, ранее принадлежавшего правящему дому Трастамара, согласно указу короля Энрике IV, подписанному в Севилье 26 июня1456 года
Родриго Энрикес де Кастро (1459—1522), 2-й граф де Лемос, гранд Испании. Старший сын Алонсо де Кастро и Осорио (1442—1467), внук предыдущего
Беатрис де Кастро Осорио Фермоса (1480— 11 ноября 1570), 3-я графиня Лемос, гранд Испании и мать кардинала Родриго де Кастро и Осорио (1523—1600), старшая дочь предыдущего
Фернандо Руис де Кастро Андраде и Португал (1548— 19 октября 1601), 6-й граф де Лемос, 3-й маркиз Саррия, гранд Испании и вице-король Неаполя (1599—1601), старший сын предыдущего
Педро Фернандес де Кастро и Андраде (1576 — 19 октября 1622), 7-й граф Лемос, 4-й маркиз Саррия, гранд Испании, президент Совета Индий, вице-король Неаполя (1610—1616), председатель Верховного Совета Италии. Старший сын предыдущего. Племянник кардинала Родриго де Кастро Осорио. Он умер бездетным, поэтому титулы унаследовал его младший брат, 8-й граф Лемос.
Франсиско Руис де Кастро Андраде и Португал (1582 — сентябрь 1637), 8-й граф Лемос, 5-й маркиз Саррия, гранд Испании, вице-король Неаполя (1601—1603) и вице-король Сицилии (1616—1622). В 1629 году он отказался от всех своих титулов и имущества, принял монашеский сан в бенедиктинском монастыре в Саагуне. Ему наследовал его старший сын.
Франсиско Фернандес де Кастро (1613 — 6 декабря 1662), 9-й граф де Лемос, 6-й маркиз де Саррия, гранд Испании и вице-король Арагона (1649—1652). Его младший брат, Фернандо, женился на 4-й графине Хельвес, что в будущем привело к переходу титулов к дому герцогов Бервик.
Педро Антонио Фернандес де Кастро (20 декабря 1632 — 6 декабря 1672), 10-й граф Лемос, 7-й маркиз Саррии, гранд Испании, 27-й наместником Перу (1667—1672), единственный сын предыдущего
Хинес Мигель Руис Мария Консепсьон де Кастро Андраде и Португал Осорио(16 октября 1666 — 30 сентября 1741), 11-й граф де Лемос, 9-й граф Вильяльба и 8-й маркиз Саррия, гранд Испании, старший сын предыдущего. Он умер бездетным, и его титулы и владения перешли к его племяннице, Розе Марии де Кастро и Сентурион.
Роза Мария де Кастро и Сентурион (6 апреля 1691 — 14 марта 1772), 12-я графиня де Лемос, 9-я маркиза де Саррия, гранд Испании. Старшая дочь Сальвадора Франсиско Руиса де Кастро и Португала, племянница предыдущего. Она умерла в 1772 году, не оставив потомства. После наследственных споров между ветвями семьи, право собственности переходит к её племяннику, герцогу Бехару.
Хоакин Лопес де Суньига Сотомайор и Кастро (1715 — 10 октября 1777), 13-й граф де Лемос, 10-й маркиз Саррия, 12-й герцог Бехар и Вильянуэва, гранд Испании. Единственный сын Хуана Мануэла де Суньиги Сотомайора и Кастро, 11-го герцога Бехара (ок. 1670—1747), и Рафаэла де Кастро Португал и Сентурион (1693—1718), племянник предыдущей. Он умер бездетным, и он титулы графа Лемоса и маркиза Саррия из дома Кастро перешли к ближайшей родительской ветви, дому Бервик.
Франсиско Хакобо Фитц-Джеймс Стюарт и Колон де Португал (28 декабря 1718 — 30 сентября 1785), 14-й граф де Лемос, 11-й маркиз Саррия, 3-й герцог Бервик и гранд Испании. Потомок Фернандо Руиса де Кастро и Португала (брата 7-го и 8-го графов Лемос). Старший сын Джеймса Фитцджеймса, 2-го герцога Бервика (1696—1738). Женат с 26 июля 1738 года на Марии Терезе де Сильва и Альварес де Толедо, дочери герцога Альбы. Ему наследовал его сын.
Карлос Бернардо Фитц-Джеймс Стюарт и Сильва (25 марта 1752 — 7 сентября 1787), 15-й граф де Лемос, 12-й маркиз Саррия, 4-й герцог Бервик и гранд Испании, единственный сын предыдущего. Женат с 15 сентября 1771 года на Каролине Августе цу Штольберг-Гедерн, принцессы Хорнс.
Хакобо Фитц-Джеймс Стюарт и Штольберг (25 февраля 1773 — 3 апреля 1794), 16-й граф де Лемос, 13-й маркиз Саррия, 5-й герцог Бервик и гранд Испнании, единственный сын предыдущего
Хакобо Фитц-Джеймс Стюарт и Сильва (3 января 1791 — 5 января 1794), 17-й граф Лемос, 14-й маркиз Саррия, 6-й герцог Бервик и гранд Испании, сын предыдущего. Он умер в возрасте трех лет, ему наследовал его младший брат
Карлос Мигель Фитц-Джеймс Стюарт (19 мая 1794 — 7 октября 1835), 18-й граф де Лемос, 15-й маркиз Саррия, 7-й герцог Бервик, 14-й герцог Альба и гранд Испании, младший брат предыдущего
Карлос Мария Фитц-Джеймс Стюарт и Портокарреро (4 декабря 1849 — 15 октября 1901), 20-й граф де Лемос, 17-й маркиз Саррия, 9-й герцог Бервик, 6-й герцог Альба и гранд, единственный сын предыдущего
Джакобо Фитц-Джеймс Стюарт (17 октября 1878 — 24 сентября 1953), 21-й граф де Лемос, 18-й маркиз Саррия, 17-й герцог Альба, 10-й герцог Бервик и гранд Испании, старший сын предыдущего
Мария дель Росарио Фитц-Каэтана Джеймс Стюарт и Сильва (28 марта 1926 — 20 ноября 2014), 22-я графиня де Лемос, 19-я маркиза де Саррия, 11-я герцогиня Бервик, 18-я герцогиня Альба и гранд Испании, единственная дочь предыдущего
Карлос Фитц-Джеймс Стюарт и Мартинес де Ирухо (род. 2 октября 1948), 23-й граф Лемос, 20-й маркиз де Саррия, 12-й герцог Бервик, 19-й герцог Альба и гранд Испании, старший сын предыдущей.