Dieser Artikel oder nachfolgende Abschnitt ist nicht hinreichend mit Belegen (beispielsweise Einzelnachweisen) ausgestattet. Angaben ohne ausreichenden Beleg könnten demnächst entfernt werden. Bitte hilf Wikipedia, indem du die Angaben recherchierst und gute Belege einfügst.
Er war der zweite Sohn des berühmten 3. Herzogs von Alba, Fernando Álvarez de Toledo (1507–1582) und der María Enríquez Álvarez de Toledo y Guzmán. Er erbte das Herzogtum Alba de Tormes erst nach dem Tod seines Vaters 1582 und wurde zu Lebzeiten allgemein nur „Don Fadrique“ genannt. Weitere seiner Titel waren: Duque de Huescar, Marqués de Coria und Comendador Mayor de la Orden de Calatrava.
Er hatte Magdalena de Guzmán die Ehe versprochen, und wurde, als er das Versprechen nicht einlöste, 1566 im Castillo de La Mota in Medina del Campo inhaftiert. Im folgenden Jahr kam er wieder frei, um mit seinem Vater nach Flandern zu gehen. 1571 heiratete Fadrique heimlich, aber mit Zustimmung seines Vaters, María de Toledo, Tochter von García Álvarez de Toledo, 4. Markgraf von Villafranca und Vizekönig von Sizilien, dem ältesten Sohn der Herzogs von Alba. Nach der Rückkehr von Vater und Sohn nach Madrid 1574 wurde der Vorgang bekannt, und der König befahl einen Prozess, der 1579 mit der Verurteilung Fadriques zu einer Gefängnisstrafe endete, die ihn erneut ins Castillo de la Mota brachte, sowie mit seiner anschließenden Verbannung nach Ucedo, einem Besitz der Herzöge von Alba.