Nato a Portland, nel Maine da una famiglia di puritani, fu espulso da diverse scuole durante la giovinezza. Lavorò come disegnatore presso la Portland Locomotive Company e come incisore su legno presso un'azienda di Boston. Fu un autodidatta per quanto riguarda la zoologia, ma la sua competenza venne comunque riconosciuta, tanto da essere invitato a tenere la sua prima lezione all'età di diciotto anni. Benvoluto da molti, ma non da suo padre diacono puritano creazionista, attirò l'attenzione di Charles Darwin con la sua scoperta che i brachiopodi sono vermi più che molluschi.
Nel 1877 visitò il Giappone alla ricerca di brachiopodi nei pressi della costa. La sua visita, arricchita dalla scoperta dei fossili di Ōmori, si trasformò in una permanenza di tre anni quando gli fu offerto un posto presso l'Università di Tokyo. Raccomandando una serie di americani come o-yatoi gaikokujin (esperti stranieri) per supportare la modernizzazione del Giappone nel periodo Meiji, introdusse lo studio dell'archeologia e dell'antropologia in Giappone con le sue ricerche sui materiali delle culture antiche.
In Giappone pubblicò un libro intitolato La casa giapponese illustrato con i suoi stessi disegni. Collezionò anche oltre 5 000 pezzi di terraglie giapponesi, e divenne Custode di Terraglie (Keeper of pottery) nel 1880 al Museum of Fine Arts di Boston, che ora contiene la sua collezione, nota come la collezione Morse.
