Der im Staat New York geborene Benjamin Swift war fünf Jahre alt, als sein Vater mit ihm nach Bennington in Vermont zog, wo er seine Schulausbildung abschloss. Er studierte die Rechtswissenschaften, wurde 1806 in die Anwaltskammer aufgenommen und begann in Bennington zu praktizieren. Nachdem er für kurze Zeit in Manchester gelebt hatte, ließ er sich schließlich 1809 in St. Albans im Franklin County nieder. Dort war er weiterhin als Jurist tätig, ebenso aber auch im Bankgewerbe und in der Landwirtschaft.
Nachdem ihn seine Partei nicht für eine weitere Legislaturperiode nominiert hatte, zog sich Swift aus der Politik zurück. Er arbeitete wieder als Anwalt und Landwirt und starb 1847 in St. Albans.
