Son frère, Pat, est également joueur de basket-ball et est passé par l'université Saint Joseph. Son grand-père, célèbre entraîneur de lycée en Pennsylvanie, Don Graham créa les « Carroll Camps », un camp de basket-ball tenu par les frères Carroll pour apprendre les fondamentaux du basket-ball, plus spécifiquement le tir.
Au lycée "Hatboro-Horsham", Carroll inscrit 26,5 points, prend 7,3 rebonds et fait 4,0 passes décisives par match lors de son année senior au poste d'arrière tireur.
À la fin de sa carrière au lycée, Carroll se classe au deuxième rang des meilleurs marqueurs de l'histoire de la Pennsylvanie du Sud-Est, derrière la star des Lakers de Los Angeles Kobe Bryant. Carroll surpasse Bryant en devenant le seul joueur de Pennsylvanie à être nommé "Mr. Basketball" à deux reprises.
Carroll fait également partie de l'effectif pour le Magic Johnson Roundball Classic, où il joue sous les ordres de son grand-père, ainsi qu'au Capital Classic à Washington, D.C..
Carrière universitaire
Carroll joue 133 matches lors de ces quatre années à l'université Notre-Dame en réalisant en moyenne 13,9 points, 4,3 rebonds, 2,4 passes décisives et 0,9 interception. Il se situe au 6e rang des meilleurs marqueurs de Notre-Dame avec 1 850 points.
Carroll est deuxième dans l'histoire de l'équipe universitaire de basket-ball de Notre Dame au nombre de tirs à trois-points réussis (301) derrière Colin Falls (331), au nombre de tirs à trois-points tentés (762), au nombre de rencontres disputés (133), au nombre de matches titulaires (125) et deuxième au pourcentage de lancers-francs (82,5 %). Il a réussi 96 double-double en 133 matches. Il est nommé All-American Honorable Mention par l'Associated Press et All-Big East First Team en tant que senior.
Carrière professionnelle
Carroll signe avec les Knicks de New York en tant que free agent et joue leur summer league. Il dispute le training camp 2003-2004 avec New York et est l'un des derniers joueurs écartés par les Knicks.
Il signe par la suite avec les Trail Blazers de Portland en tant que free agent le jouant 13 rencontres pour Portland lors de la saison 2003-2004 avec 1,0 point de moyenne. Il est écarté par les Trail Blazers le .
Après avoir été coupé par les Blazers lors de la saison 2003-2004, Carroll signe avec les Roanoke Dazzle de la NBA Development League (NBDL). Il joue 11 matches avec les Dazzle avant de signer avec les Spurs. Carroll inscrit 15,5 points et 2,8 rebonds par match.
Carroll poursuit avec les Roanoke Dazzle la saison suivante, étant nommé Most Valuable Player de la saison 2004-2005. Il est meilleur marqueur de NBDL avec 20,1 points en 24 matches, ainsi que 2,8 rebonds, 1,6 passe décisive et 1,1 interception en 31,7 minutes ; 50,3 % de réussite aux tirs (177/352) et 60,5 % de réussite à trois-points (23/38). Carroll réussit sa meilleure performance offensive avec 43 points contre les Florida Flame le et est nommé NBDL Player of the Month en janvier avec 22,3 points de moyenne. Il mène Roanoke à un bilan de 14 victoires - 4 défaites et à la première place NBDL.
Carroll signe avec les Spurs de San Antonio comme free agent le pour le reste de la saison. Il joue trois rencontres pour San Antonio durant la saison 2003-2004 pour 2,0 points de moyenne.
Il joue par la suite la "Summer League 2004" pour les Warriors de Golden State. Il joue six matches pour Golden State lors de la présaison avec des moyennes de 2,8 points et 1,0 rebond avant d'être écarté avant le début de la saison régulière.
Carroll signe avec la toute nouvelle franchise des Bobcats de Charlotte le et joue 25 matches pour des moyennes de 9,0 points et 2,4 rebonds en 17,2 minutes.
Lors de sa première saison avec les Bobcats, il réussit sa meilleure performance offensive avec 22 points à Washington le . Il inscrit plus de 10 points lors de six rencontres consécutives du 5 au .
Carroll devient agent libre lors de l'été 2005 et est resigné par les Bobcats. Il joue 78 rencontres avec les Bobcats lors de la saison 2005-2006, avec 7,6 points et 2 rebonds de moyenne en 16 minutes de jeu.
Carroll réalise sa meilleure saison NBA avec des moyennes de 12,1 points, 2,9 rebonds et 1,3 passe décisive. Il est le meilleur Bobcat au pourcentage de lancers-francs (90,4 %) et au pourcentage de tirs à trois-points (41,6 %).
En , il resigne à nouveau avec les Bobcats ; pour 27 millions de dollars et six années.