Swann efterträdde 1866 Augustus Bradford som Marylands guvernör och efterträddes 1869 av Oden Bowie.[3] Därefter representerade han fram till 1873 Marylands tredje distrikt i USA:s representanthus och 1873 bytte han till Marylands fjärde kongressdistrikt.[4]