Das Observatorium wurde 1852 gegründet. Das Dudley Observatory ist die älteste unabhängige astronomische Forschungs-Einrichtung der USA. Es wird heute nicht mehr als professionelles astronomisches Observatorium benutzt, sondern dient der Ausbildung von Studenten der Union University.
Das Dudley Observatory wurde nach dem Senator Charles E. Dudley von Albany (von 1828 bis 1833) benannt. Dudley lebte in New York und starb 1841. Seine Frau Blandina (Bleeker) Dudley stiftete nach seinem Tod namhafte Beträge, die es ermöglichten, das Dudley Observatory zu erstellen.