As raíces desta poboación remóntanse, cando menos, á época visigoda, dado que aparece mencionada como unha ceca monetal co nome de Seabra. A súa relevancia defensiva non chegaría ata a Idade Media debida á súa situación xeográfica, o cal a converteu nunha forteza defensiva da fronteira con Portugal.
Tras diversas polémicas e preitos durante o século XV entre a familia Pimentel e a familia dos Losada pola posesión da Pobra de Seabra, o terceiro Conde de Benavente, Alonso Pimentel Enríquez, comezou construír sobre as ruínas dunha vella forteza o castelo da Pobra (entre 1455 e 1499). Parece ser que as obras se paralizaron durante anos polos preitos que existían en relación á propiedade da vila, e que non rematarían ata principios do século XVI. Tralas loitas que tiveron lugar na Seabra causadas pola Guerra de independencia de Portugal durante os anos corenta do século XVII, o castelo rematou en ruínas. As sucesivas guerras con Portugal no século XVIII e con Francia no XIX deixaron o castelo practicamente destruído. De feito, durante a denominada Guerra da Independencia, as forzas armadas españolas formuláronse, mesmo, a demolición do castelo para evitar que fose usado polos franceses.
Cesión ao Concello
Durante o resto do século XIX, o castelo viviu unha época de abandono e, dado o seu nulo uso como forteza militar, o goberno decidiu cederllo ao concello da Pobra de Seabra. Por esta razón, o 28 de xullo de 1895, a raíña rexente María Cristina en nome do seu fillo Afonso XIII, sancionou en San Sebastián a lei na que se materializa a devandita cesión. Tratábase dunha lei curta, de apenas tres artigos, que foi publicada pola Gaceta de Madrid o 30 de xullo dese mesmo ano. No artigo primeiro da Lei disponse que "se cede provisionalmente ao Concello de Pobra de Seabra o antigo castelo que existe naquela vila, ata que se determine se será ou non útil para a defensa da fronteira con Portugal, e en caso negativo, a cesión será definitiva e en pleno dominio". Aínda así, e como prevención, o Ministerio da Guerra conseguiu que no artigo segundo se dispuxese que "cando o Ministerio da Guerra necesite o castelo volverá ao seu dominio". Finalmente, o artigo terceiro da devandita Lei facultaba ao Ministerio para desenvolver regulamentariamente a norma ao sinalar que "o Ministerio da Guerra dará as ordes convenientes para o cumprimento desta lei".
Usos
A partir dese momento e durante case un século, o Concello deu ao castelo os máis variados usos, dende cárcere municipal ata almacén de palla ou galiñeiro. Posteriormente, xa na década dos anos noventa do século XX, o castelo adoptou un uso decididamente cultural ao instalarse nel definitivamente a biblioteca (1991), a sala de exposicións e o salón de actos. No ano 2006, a torre da homenaxe do castelo, popularmente coñecida como o Macho, converteuse no Centro de Interpretación das Fortificacións, grazas a un proxecto da Fundación do Patrimonio Histórico de Castela e León, namentres a Casa do Gobernador se converteu no 2007 no Centro de Recepción de Visitantes.
