Brown utexaminerades 1855 från Centre College och studerade sedan juridik. Mellan 1859 och 1861 representerade han Kentuckys femte distrikt i representanthuset men deltog inte i praktiken i kongressens arbete innan han sommaren 1860 fyllde 25 år, det vill säga den ålder som konstitutionen kräver av en ledamot av representanthuset. Brown hade själv protesterat mot sin nominering i och med att han inte var tillräckligt gammal.
I kongressvalet 1866 valdes Brown igen in i representanthuset men tilläts inte tillträda den gången, eftersom han inte bedömdes vara lojal mot unionen. Mandatet förklarades vakant i stället. Brown gjorde sedan comeback i kongressvalet 1872 med omval år 1874. I februari 1875 tillrättavisade kongressen honom för ett språkbruk opassande för en parlamentariker. Brown hade kritiserat republikanenBenjamin F. Butler i häftiga ordalag. Butler förespråkade medborgerliga rättigheter för svarta, något som Brown var emot.
