Sein Vater war Ignatz Brenner von Felsach, ebenfalls ein Diplomat und Orientalist. Als Diplomat war Adolph von Brenner-Felsach in München,[4] ebenso wie in Griechenland, wo in Athen 1859 sein Sohn Joachim von Brenner-Felsach auf die Welt kam oder später in Dänemark[4] wo er auch mit der Familie seinen Dienst versah. Verheiratet war er mit Luise Gräfin Seilern und Aspang.[5] Bei den Friedensverhandlungen im Prager Frieden mit Deutschland war er ebenfalls als Diplomat mit involviert. In den beiden Jahren 1867 und 1868 war er Vertreter des Großgrundbesitzes im Landtag von Niederösterreich.[4]
Seine lokale Bedeutung liegt in seiner Heimat in den beiden ehemaligen selbständigen Gemeinden Gainfarn und Großau, wo er die beiden Güter Merkenstein und Gainfarn von Joachim Eduard Graf Münch-Bellinghausen im Jahr 1866 erbte. Für die beiden Orte erwarb er sich soziale Verdienste. So errichtete er in Gainfarn das Kloster im Jahr 1874 mit einer Kinderbewahrungsanstalt, wie der Kindergarten damals bezeichnet wurde.[5]