Da Joseph var 11 år i 1844 gammel, blev faderen dræbt af en gruppe vrede mennesker, som stormede fængslet, hvor faderen sad fængslet for bl.a. at være medskyldig i ødelæggelsen af en lokal avis[2], som havde forsøgt at gøre Joseph Smiths flerkoneri[3] offentligt kendt.
Efter faderens død var der tvivl om, hvem der skulle lede den nye religion. Josephs familie mente, at Joseph Smith III var den rette efterfølger, der skulle dog gå 16 år før Joseph Smith III accepterede kaldet som profet, hvorefter Kristi Kirke blev reorganiseret under hans ledelse.
I 1856 giftede han sig med Emmeline Griswold, som han fik 5 børn med. Efter første hustrus død giftede Joseph Smith III sig i 1869 med sin anden hustru Bertha Madison og fik yderligere ni børn. Da denne hustru også døde, giftede han sig for sidste gang med Ada R. Clark, de fik 3 børn sammen.
