Родился 4 ноября1876 года в городе Уинона, штат Миннесота. Его отец, Томас Фрейзер, был инженером в железнодорожной компании на Западе США.
Будучи ребенком, Джеймс видел жизнь коренных американцев, которых загоняли в резервации. Эти его ранние воспоминания были позже выражены во многих произведениях. Жил недалеко от города Митчелл, штат Южная Дакота, где недалеко от его дома находились каменоломни. Фрейзер начал высекать фигуры из кусков известняка.
Умер 11 октября1953 года в городе Вестпорт, штат Коннектикут. Похоронен на городском кладбище Willowbrook Cemetery рядом с женой[5], тоже скульптором — Лаурой Фрейзер.
За свою художественную карьеру создал большое количество скульптур. Также занимался дизайном монет и наград, включая Военно-морской крест США. В 1913 году впервые на монетах США (5 центов) работы Фрейзера был отчеканено изображение индейца; моделями для неё были три коренных жителя американского континента: вожди племён сиу, кайова и шайеннов.