Orlow, der jüngste der fünf Orlow-Brüder, verwaiste früh und wuchs unter der Obhut seiner Brüder auf dem Lande auf. Am Tag der Krönung Katharinas II. 1762 erhielt Orlow zusammen mit seinen Brüdern die erbliche Grafenwürde.[1] 1763 schickten ihn seine Brüder ins Ausland zum Studium an der Universität Leipzig. Er begeisterte sich für die Astronomie, verehrte die deutschen Wissenschaftler und liebte das Leben in Leipzig. Die französischePhilosophie des 18. Jahrhunderts interessierte ihn nicht, und er sprach nie französisch.
1770 wurde Orlow zum Kammerherrn ernannt (4. Rangklasse). Er machte eine Reise durch Russland und führte wieder ein Tagebuch. 1771 erkrankte er schwer und reiste zur Behandlung ins Ausland. Er lebte in Deutschland, Frankreich und England und trat in Kontakt mit vielen Wissenschaftlern, mit denen er dann weiter korrespondierte.[1] 1773 kehrte er nach St. Petersburg zurück. 1774 schied er auf eigenen Wunsch aus dem Dienst im Range eines Generalporutschiks,[1] nachdem aufgrund des Aufstiegs Grigori Potjomkins die Orlows die Gunst Katharinas II. verloren hatten. Orlow ließ sich auf seinem Landsitz Otrada (RajonStupino) nieder und ließ sich 1775–1779 von zwei leibeigenenArchitekten nach Plänen von Karl Blank ein prächtiges Herrenhaus mit Park bauen.[7] Er sorgte für seine Familie und seine leibeigenen Bauern. Er las viel und beobachtete die politischen und gesellschaftlichen Ereignisse.[1]
Orlow hatte zwei Söhne und drei Töchter. Sein ältester Sohn Alexander (1769–1787) starb früh. Die älteste Tochter Jekaterina heiratete 1799 den Brigadier Dmitri Alexandrowitsch Nowossilzew (1758–1835), von dem sie sich ein Jahr später trennte. Ihr einziger Sohn Wladimir (1800–1825) war mit Graf Joseph de Maistre befreundet und starb im Duell mit dem Dekabristen Konstantin Tschernow. Jekaterina widmete sich der Wohltätigkeit und ließ sich auf Otrada von Domenico Gilardi ein Mausoleum bauen (1832–1835). Die zweite Tochter Sofja (1774–1844) heiratete 1790 den Vizekanzler Nikita Petrowitsch Panin mit dem Herrenhaus Marfino als Mitgift und wurde bekannt durch ihre Wohltätigkeit und ihre Fürsorge für ihre leibeigenen Bauern. Der zweite Sohn Grigori heiratete 1800 Gräfin Anna Iwanowna Saltykowa (1777–1824, Tochter des GeneralfeldmarschallsIwan Petrowitsch Saltykow und seiner Frau Darja Petrowna geborene Tschernyschowa), die ihrem Schwiegervater Orlow das Herrenhaus Marfino verkauft hatte. Mit seiner kranken Frau lebte Grigori ständig im Ausland und unterhielt einen literarischen Salon in Paris. Die dritte Tochter Natalja (1782–1819) heiratete den Geheimen Rat (4. Rangklasse) Pjotr Lwowitsch Dawydow. Ihr Sohn Wladimir Petrowitsch erhielt 1856 Titel und Name seines Großvaters Orlow, so dass er nun den Namen Orlow-Dawydow trug.