Abraham Smith besuchte die Professor Beck’s Academy in Lititz und danach bis 1840 das Dickinson College in Carlisle. Nach einem anschließenden Jurastudium und seiner 1842 erfolgten Zulassung als Rechtsanwalt begann er in Lancaster in diesem Beruf zu arbeiten. Gleichzeitig schlug er eine politische Laufbahn ein. Zwischen 1843 und 1844 war er Abgeordneter im Repräsentantenhaus von Pennsylvania; im Jahr 1845 gehörte er dem Staatssenat an. Später wurde er Mitglied der Republikanischen Partei.
Bei den Kongresswahlen des Jahres 1872 wurde Smith im neunten Wahlbezirk von Pennsylvania in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1873 die Nachfolge von Oliver James Dickey antrat. Nach fünf Wiederwahlen konnte er bis zum 3. März 1885 sechs Legislaturperioden im Kongress absolvieren. Zwischen 1881 und 1883 war er Vorsitzender des Committee on Mileage. Im Jahr 1884 wurde er von seiner Partei nicht mehr zur Wiederwahl nominiert.
Nach dem Ende seiner Zeit im US-Repräsentantenhaus praktizierte Abraham Smith wieder als Anwalt. Er starb am 16. Februar 1894 in Lancaster.
