Urodził się w rodzinie architekta Louisa Baltarda. Studiował w Szkole Sztuk Pięknych w Paryżu, otrzymując już w czasie nauki kilka prestiżowych wyróżnień. W latach 1834–1838 przebywał na stypendium w Rzymie, pracując pod kierunkiem Dominique’a Ingresa. W 1849 r. został oficjalnym architektem miejskim Paryża, a także architektem diecezjalnym. Z tego ostatniego stanowiska został jednak zdjęty w 1854 r. z powodu niedostatecznego zaangażowania w przebudowę paryskiego seminarium duchownego oraz pałacu biskupiego.
Sławę zdobył w czasie wielkiej przebudowy Paryża, kiedy na polecenie Napoleona III oraz barona Haussmanna zrealizował szereg budynków sakralnych i świeckich, które miały nadać miastu nowy blask i znamię nowoczesności. Najbardziej zapamiętany został jako autor kompleksu Hal targowych, budowanych od 1852 do 1872 r. Obiekt ten został rozebrany w 1972 r. z wyjątkiem kilku najatrakcyjniejszych architektonicznie pawilonów, które zostały wystawione w Nogent-sur-Marne pod nazwą „pawilonów Baltarda”.
Był kawalerem Legii Honorowej i członkiem Instytutu Akademii Francuskiej[1].