Dexter è nato a Malden nella provincia del Massachusetts Bay. La sua scolarizzazione fu breve e iniziò a lavorare come bracciante agricolo all'età di 8 anni.[1] A 16 anni divenne apprendista di un conciatore.[2] Nel 1769 si trasferì a Newburyport, nel Massachusetts[3], dove sposò la 32enne Elizabeth Frothingham[4], una ricca vedova, e comprò un palazzo. Alcuni dei suoi contemporanei lo consideravano poco intelligente; il suo necrologio, infatti, scriveva "le sue doti intellettuali non erano di foggia elevata"[5].
Quando gli scambi commerciali ripresero e la moneta riacquisì forza, Dexter si ritrovò un patrimonio invidiabile. Costruì due navi e iniziò un'attività di esportazione nelle Indie occidentali e in Europa.[senza fonte]
Poiché era in gran parte non istruito, il suo senso degli affari era considerato peculiare. Gli fu consigliato di inviare pentole riscaldanti (usate per riscaldare le lenzuola nei freddi inverni del New England) per la vendita nelle Indie Occidentali, una zona tropicale. Questo consiglio è stato uno stratagemma deliberato da parte di altri uomini d'affari per farlo fallire. Il suo capitano li vendette come mestoli per l'industria locale della melassa e fece un buon profitto.[6] Successivamente, Dexter inviò guanti di lana nello stesso posto, dove i commercianti asiatici li acquistarono per esportarli in Siberia.[1][senza fonte]
La gente scherzosamente gli ha detto di " spedire carbone a Newcastle ". Lo fece durante uno sciopero dei minatori in quel momento, e il suo carico fu venduto a premio.[7][8] In un altro momento, i burloni pratici gli dissero che poteva fare soldi spedendo guanti alle Isole dei Mari del Sud. Le sue navi arrivarono lì in tempo per vendere i guanti alle barche portoghesi in rotta verso la Cina.
Esportò bibbie nelle Indie orientali e gatti randagi nelle isole dei Caraibi ottenendo grossi profitti. I missionari orientali avevano bisogno delle bibbie e i Caraibi accolsero con favore una soluzione all'infestazione di ratti.[1] Accumulò anche ossa di balena per errore, ma riuscì a venderli proficuamente come materiale di supporto per corsetti.
I membri dell'alta società del New England raramente socializzavano con lui. Dexter decise di acquistare una grande casa a Newburyport da Nathaniel Tracy, un socialite locale, nel tentativo di emulare l'altà società.[1][3] I suoi rapporti con la moglie e i figli non furono dei migliori. Ciò divenne evidente quando iniziò a dire ai visitatori che sua moglie era morta (sebbene fosse vero il contrario) e che la donna che frequentava l'edificio fosse semplicemente il suo fantasma. In un episodio notevole, Dexter simulò la propria morte per vedere come avrebbero reagito le persone. Circa 3.000 persone si presentarono alla sua falsa veglia funebre. Dexter non vide piangere sua moglie e, dopo aver svelato l'inganno, la bastonò per non aver sofferto abbastanza per la sua morte.[9]
All'età di 50 anni, Dexter scrisse A Pickle for the Knowing Ones or Plain Truth in a Homespun Dress, in cui si lamentava dei politici, del clero e di sua moglie. Il libro conteneva 8.847 parole e 33.864 lettere, ma senza alcuna punteggiatura e con le lettere maiuscole distribuite in maniera casuale. Inizialmente il libro di Dexter venne distribuito gratuitamente, ma presto divenne popolare e cominciò a essere venduto. Fu ristampato otto volte.[2]
Nella seconda edizione, Dexter aggiunse una pagina che consisteva in 13 righe di segni di punteggiatura e l'invito ai lettori a distribuirli a piacimento.[10]
Dopo la sua morte, la casa di Newburyport di Dexter divenne un hotel.[1] La maggior parte delle sue statue non è sopravvissuta alle intemperie; l'unica superstite identificata fu quella di William Pitt. Il suo libro rimane il suo lascito principale ad oggi.