Керролл почав писати вірші в підлітковому віці і перше визнання отримав вже в кінці 1960-х. У 1970-х він став помітним діячем нью-йоркської арт-сцени і співпрацював з Енді Ворголом, Патті Сміт, Ларрі Ріверсом і Робертом Меплторпом. У 1978 році він організував власний музичний гурт — The Jim Carroll Band.
Популярність серед широкої публіки Керролл здобув завдяки автобіографічному роману «Щоденники баскетболіста», опублікованому в 1978 році. У 1995 році книга була екранізована, роль Керролла виконав Леонардо Ді Капріо.
Помер у віці 60 років в своєму будинку на Мангеттені від серцевого нападу 11 вересня 2009.