Spätere Eigentümer waren ab 1723 Jacques III. de Goyon († 1725) und nach dessen Tod sein Sohn Jacques IV. Francois Léonor de Goyon, der im Jahr 1715 durch seine Heirat mit der monegassischen Erbprinzessin Louise-Hyppolite Grimaldi den Titel Prinz von Valentinois erworben hatte und von 1731 bis 1733 vorübergehend als Fürst Jacques I. von Monaco amtierte, bevor er nach dem Tod seiner Gattin zugunsten seines Sohnes Honoré III. von Monaco abdankte und bis zu seinem Lebensende in das Hôtel Matignon zurückkehrte.
Dieses kaufte im Jahr 1804 von seinen Enkeln die ehemalige Ballerina und frühere Geliebte des Herzogs von Württemberg, Anne Eléonore Sullivan geborene Franchi, die es aber bereits 1808 an Talleyrand weiterveräußerte, der es bis 1814 besaß. In jenem Jahr kam es in den Besitz von Napoléon Bonaparte, nach dem Sturz des Kaiserreiches im Tausch gegen den Élysée-Palast an die Herzogin von Bourbon († 1822), die es ihrer Nichte Adélaïde d’Orléans, der Schwester des künftigen Louis Philippe vererbte. Madame Adélaïde lebte dort bis 1830. Danach vermietete sie das Hôtel particulier.
Nachdem König Louis Philippe infolge der Februarrevolution 1848 hatte abdanken und aus Frankreich fliehen müssen und das Haus Orléans nunmehr in großem Umfang seinen französischen Privatbesitz veräußerte, erwarb 1852 der Marchese Raffaele de Ferrari, Herzog von Galliera, das Hôtel Matignon von Antoine d’Orléans, duc de Montpensier, dem jüngsten Sohn des Königs. Ferraris Frau, die bedeutende Mäzenin Maria Brignole Sale De Ferrari, etablierte sich hier als Grande Dame der Pariser Gesellschaft im Zweiten Kaiserreich, veranstaltete zahlreiche Feste, empfing berühmte Künstler, Intellektuelle und Politiker und richtete eine bedeutende Kunstsammlung ein, vor allem mit Werken von van Dyck und Rigaud. Zu ihren Habitués, die in ihrem nunmehr auch Hôtel Galliera genannten Palais verkehrten, gehörten Adolphe Thiers, François Guizot, Prosper Mérimée und Charles-Augustin Sainte-Beuve.
Zu dem Gebäude gehört ein umfangreicher Park, der auf Pläne von Achille Duchêne aus dem Jahr 1902 zurückgeht.
In diesem Park wurde seit der Amtszeit von Raymond Barre es zur Tradition, dass jeder amtierende Premier einen Baum pflanzt.[1]