Jeremiah Haralson kam als Sklave zur Welt und ging autodidaktischen Studien nach. Er zog nach Alabama, wo er sich mit landwirtschaftlichen Arbeiten beschäftigte. Ferner war er als Pastor tätig. Haralson verfolgte ebenfalls eine politische Laufbahn. Er war 1870 Mitglied im Repräsentantenhaus und 1872 im Senat von Alabama. Haralson kandidierte 1868 erfolglos um einen Sitz im 41. US-Kongress, wurde allerdings in den 44. US-Kongress gewählt. Er war im US-Repräsentantenhaus vom 4. März 1875 bis zum 3. März 1877 tätig. Danach bekleidete er eine Stellung in der Bundeszollbehörde in Baltimore (Maryland). Später war er als Clerk im Innenministerium tätig. Haralson ging vom 12. August 1882 bis zu seinem Rücktritt am 21. August 1884 einer Tätigkeit im Pension Bureau in Washington, D.C. Dann zog er nach Louisiana, wo er sich wieder landwirtschaftlichen Tätigkeiten widmete, und von dort 1904 nach Arkansas. Er war eine kurze Zeit als pension agent tätig. Haralson kehrte nach Alabama zurück und ließ sich 1912 in Selma nieder. Später zog er nach Texas und von dort zuerst nach Oklahoma und dann nach Colorado, wo er dem Kohlebergbau nachging. Haralson wurde um 1916 in der Nähe von Denver (Colorado) von wilden Tieren getötet.
