Kellogg flyttade 1865 till Louisiana. Han tillträdde 1868 som senator i samband med att Louisiana åter fick representation i kongressen efter inbördeskriget. Han avgick 1872 efter att ha vunnit guvernörsvalet. Han efterträdde 1873 P.B.S. Pinchback som guvernör.
Kellogg efterträdde 1877 Joseph R. West som senator. Han kandiderade 1882 till representanthuset och vann valet. Han efterträddes 1883 som senator av Randall L. Gibson och 1885 som kongressledamot av Edward James Gay.