Va ser fundat el 1943 amb el nom de Agrupación Deportiva Plus Ultra, rebent el nom de Castella el 1972.
A la temporada 1979-1980 va ser subcampió de la Copa del Rei, en una final inèdita contra el primer equip del Reial Madrid, a l'estadi Santiago Bernabéu.
A l'any següent va jugar a la Recopa d'Europa, siguent eliminat a la primera ronda davant el West Ham United FC, amb pròrroga inclosa.
El 1991, la Reial Federació Espanyola de Futbol va obligar a canviar el nom de tots els equips filials. El 2005, va recuperar el nom que va utilitzar durant la seva època més important (1972 a 1991), per celebrar el retorn a la segona divisió espanyola.
L'antic Castella CF tenia el seu propi escut, amb les inicials de l'entitat i sense corona, però no s'ha pogut recuperar el 2005, i utilitza el del primer equip.
