Durante este período de más de dos centurias, sin embargo, los Carvajales no dieron el impulso que se requería para que la administración de la correspondencia fuera lo más expedita posible. Junto a ello, comenzaron a reunir un creciente poder, varios títulos de nobleza y un ingente patrimonio, lo que produjo cierto recelo en la Corona española. Estas tres razones esgrimió Carlos III para privar a Fermín Francisco de Carvajal-Vargas de su cargo hereditario y retornarlo al gobierno.
El rey, atendidas todas estas circunstancias, pactó un convenio de resarcimiento (que constó de quince artículos) por los posibles perjuicios a la calidad y patrimonio de la familia de Fermín Francisco y le otorgó el título de I duque de San Carlos (1780).
Casó con su prima hermana consanguínea Joaquina Ana María Josefa Magdalena de Brun y Carvajal-Vargas, viicondesa del Puerto, vcondesa de Castillejo, hija de Tomás de Brun y Normante y de su esposa Catalina Isidora de Carvajal-Vargas y Hurtado de Quesada, ivcondesa de Castillejo. Le sucedió, de su hijo Mariano Joaquín de Carvajal y Brun, viii conde del Puerto, vi conde de Castillejo, el hijo de ambos, por tanto su nieto paterno:
Casó con María del Rosario de Silva Cebrián y Fernández-Miranda. Sin descendientes.
Casó en segundas nupcias con María Eulalia de Queralt y de Silva, hija del conde de Santa Coloma y la condesa de Cifuentes. Le sucedió, de su segundo matrimonio, su hijo:
José Fernando de Carvajal y Queralt (Alfaro, 1808 - Madrid, 1872), III duque de San Carlos.
Casó con María Luisa Dávalos y Portillo. Sin descendientes.
Le sucedió, de su hermano Luis Joaquín de Carvajal y Queralt, iiiconde de la Unión, que había casado con María Andrea Dávalos y Portillo, condesa viuda de Villagonzalo. La hija de éstos, por tanto su sobrina paterna:
María Luisa de Carvajal y Dávalos (Madrid, 11 de febrero de 1853 - Madrid, 22 de febrero de 1947), IV duquesa de San Carlos, x condesa del Puerto (por rehabilitación en 1897, cedido a su hija María de la Encarnación de Silva y Carvajal, en 1898), viiicondesa de Castillejo, iv condesa de la Unión.
Álvaro Fernández-Villaverde y Silva (n. en 1943), VI duque de San Carlos, v duque de Santo Mauro, xvi marqués del Viso (desde 1961), V marqués de Pozo Rubio (desde 1989), xv marqués de Santa Cruz de Mudela, xiii marqués de Villasor, xii conde de Castillejo.
Casó con Estrella Bernaldo de Quirós y Tacón, hija de Ana María Tacón y Rodríguez de Rivas, V duquesa de la Unión de Cuba.
Casilda de Silva y Fernández de Henestrosa y su esposo, fueron distribuyendo a lo largo de su vida, los títulos familiares, otorgando a su hijo mayor, Álvaro, los más representativos:
Álvaro Fernández-Villaverde y Silva, v duque de Santo Mauro, vi duque de San Carlos, xvi marqués del Viso (desde 1961), v marqués de Pozo Rubio (desde 1989), xv marqués de Santa Cruz de Mudela, xiii marqués de Villasor, xiiiconde de Castillejo.
Casilda Fernández-Villaverde y Silva, desde 1976, iii condesa de Carvajal.
José Carlos Fernández-Villaverde y Silva, desde 1972, vii conde de Estradas.
Rafael Fernández-Villaverde y Silva,desde 1985, xii marqués de Arcicóllar.
Ducado Ducado raíz Ducado de Módena Ducado de Parma Ducado de Oldemburgo Gran Ducado de Varsovia Ducado de Lorena Ducado de Sajonia-Altemburgo Ducado de Sajonia-Marksuhl Ducado (moneda) Ducado de Sajonia-Eisenach Ducado de Milán Ducado de Sajonia-Gotha Gran ducado Ducado de Vasconia Ducado de Sajonia-Meiningen Ducado de Cléveris Ducado de Glogovia Ducado de Sajonia-Weimar Gran Ducado de Toscana Ducado de Limburgo Ducado de Lucca Ducado de Guastalla Ducado de Baja Lorena Ducado de Cornualles Ducado de Sajonia-Coburgo-Saalfeld Ducado de Sajonia-Gotha-Altemburgo Ducado de Sujumi Ducado de Ben…
evento Ducado de Normandía Ducado de Jülich Ducado de Sajonia-Coburgo Ducado de Atenas Ducado de Amboise Gran Ducado de Posen Ducado de Troppau Ducado de Curlandia y Semigalia Gran Ducado de Wurzburgo Ducado de Jawor Ducado de Racibórz Gran Ducado de Fráncfort Ducado de Veragua Ducado de Krnov Ducado de Spoleto Ducado de Sajonia-Lauenburgo Ducado de Brzeg Ducado de Bytom Ducado de Tuscia Ducado de Auschwitz Ducado de Baviera Ducado de Carintia Ducado de Nápoles Ducado de Castro Ducado de Bar Gran Ducado de Lituania Ducado de Oels Gran Ducado de Finlandia Ducado de Sajonia-Eisenberg Ducado de Mantua Ducado de Suabia Ducado de Münsterberg Ducado de Brabante Ducado de Teschen Ducado de Baños Ducado de Aremberg Ducado de Franco Ducado de Viseo Ducado de Alcalá de los Gazules Ducado del Friul Ducado de Legnica Ducado de Denia y Tarifa Ducado de Sajonia-Jena Ducado de Nysa Ducado de Naxos Ducado de Arévalo Ducado de Cantabria Padilla del Ducado Ducado de Sajonia-Coburgo y Gotha Ducado de Estremera Ducado de Coímbra Ducado de Santángelo Ducado Unido del Báltico Ducado de Franconia Ducado de Cádiz Ducado de Gaeta Ducado de Arc-en-Barrois Ducados ernestinos Ducado de Ánsola Du