Родился 26 июня1816 года в Нью-Хейвене, штат Коннектикут, в семье Henry Collins Flagg и Martha Whiting Flagg; брат художника Джареда Флэгга.
Обучался живописи под руководством своего дяди — Вашингтона Олстона. Затем изучал теологию, был пастором, но в конце концов вернулся к живописи, чем занимался до конца жизни. В 1834 году поехал в Европу. Был во Франции и Италии, некоторое время жил и работал в Лондоне. Затем вернулся в США. Стал почётным членом Национальной академии дизайна в 1842 году и академиком в 1851 году.[2] Снова уезжал в Лондон, откуда вернулся в 1861 году. После 1867 года его художественная активность уменьшилась. В 1879 году художник осел в Нантакете (Массачусетс).
Был женат на художнице Louisa Henriques с 1849 года, в семье родилось четверо детей.[3]
Умер 5 января1897 года в Нантакете, штат Массачусетс. Был похоронен в Нью-Хейвене на кладбище Evergreen Cemetery.[4]
Свои последние годы прожил в собственном доме на Вестминстер-стрит, 12. Рядом с домом находилась его студия, над камином которой по настоящее время имеется надпись Флэгга: «He That Maketh Haste To Be Rich Shall Not Be Innocent».
