Dopo essersi laureato nel 1832 al Rensselaer Polytechnic Institute, dove ha anche lavorato prima come bibliotecario, poi come assistente alla cattedra di chimica, ha partecipato ad una spedizione sul gruppo dell'Helderberg, scoprendo fossili del siluriano e devoniano. Dal 1836 al 1841 ha partecipato ad una più lunga spedizione, nei monti Adirondack, i cui esiti ha pubblicato nel suo primo lavoro scientifico, la Geologia di New York, pubblicato nel 1843.
Nel frattempo ha compiuto una lunga serie di ricognizioni stratigrafiche in diversi stati americani, dall'Ohio all'Indiana, dall'Illinois al Missouri, dall'Iowa al Wisconsin, funzionali alla stesura della carta geologica degli Stati Uniti centrali ed occidentali e dalle quali ha registrato le differenze tra l'orogenesiappalachiana e quello che solo più tardi sarebbe stato definito cratone, con particolare riferimento allo scudo canadese. Tali ricerche, peraltro, furono utilizzate da Charles Lyell per il volume Viaggi in Nord America del 1845.
Tra il 1850 e il 1851, Hall è stato nella regione dei Grandi Laghi, prima vera ricognizione scientifica nel Nord America, analizzando in particolare i fossili del periodo siluriano. Ha compiuto numerose campagne d'indagine successive, tra il 1853 e il 1875, toccando di nuovo il Missouri e l'Ohio, ma anche la California, il New Jersey, il Texas, il Michigan e la Pennsylvania. Nel 1857 ha realizzato un laboratorio di analisi geologiche ad Albany, noto con il nome di James Hall Office, dove avrebbe lavorato per tutta la vita. Fra le sue principali pubblicazioni spicca la Paleontologia di New York uscita in otto volumi tra il 1847 e il 1894 e scritta con la collaborazione di John M. Clarke.
