Joseph Bailey besuchte die öffentlichen Schulen seiner Heimat und erlernte danach den Beruf des Hutmachers, den er in Parkersville ausübte. Gleichzeitig schlug er als Mitglied der Demokratischen Partei eine politische Laufbahn ein. 1840 war er Abgeordneter im Repräsentantenhaus von Pennsylvania; im Jahr 1843 sowie zwischen 1851 und 1853 gehörte er dem Staatssenat an. Seit 1845 lebte er im Perry County. Im Jahr 1854 wurde er Finanzminister (Treasurer) seines Staates. Nach einem Jurastudium wurde er 1860 als Rechtsanwalt zugelassen.
