In seiner Jugend spielte Jeff Jillson drei Jahre für das High-School-Team der Mount Saint Charles Academy im Bundesstaat Rhode Island, ehe er 1998 auf die University of Michigan wechselte. Für die Collegemannschaft zeigte er sehr gute Leistungen als offensiver Verteidiger und wurde mehrfach ausgezeichnet. Auch die Teams der National Hockey League (NHL) wurden auf ihn aufmerksam und so wählten ihn die San Jose Sharks in der ersten Runde des NHL Entry Draft 1999 an der 14. Position aus.
Jillson (liegend, Nr. 29) in einem Trainingsspiel der Colorado Avalanche (2007)
Im Sommer 2001 schloss er sich der Organisation der San Jose Sharks an und spielte in der Saison 2001/02 für das AHL-FarmteamCleveland Barons, ehe er noch in derselben Spielzeit in den NHL-Kader der Sharks berufen wurde. Trotzdem konnte er sich nicht komplett im NHL-Team durchsetzen und fand sich in der folgenden Saison zum Teil in der AHL wieder. Im Januar 2003 wurde er gemeinsam mit Jeff Hackett im Tausch für Kyle McLaren und ein Viertrunden-Wahlrecht im NHL Entry Draft 2004 zu den Boston Bruins transferiert, die ihn für den Rest der Saison zu den Providence Bruins in die AHL schickten. Die Saison 2003/04 spielte der Verteidiger im Team der Boston Bruins in der NHL, ehe er im März 2004 abgeben wurde. In einem Tauschgeschäft zwischen den Bruins, den San Jose Sharks und den Buffalo Sabres wurde er erst im Tausch für Brad Boyes zurück zu den Sharks geschickt, die ihn direkt mit einem Siebtrunden-Wahlrecht im NHL Entry Draft 2005 an die Sabres abgaben. Bei den Sabres, die im Gegenzug Curtis Brown und Andy Delmore als Kompensation abgaben, absolvierte er den Rest der Saison.
Da die NHL-Saison 2004/05 wegen des Lockouts ausfiel, spielte Jillson die Saison über für die Rochester Americans, dem Farmteam der Sabres, in der AHL. Im Herbst 2005 nahm die NHL wieder ihren Spielbetrieb auf, aber Jillson schaffte den Sprung in den NHL-Kader nicht und absolvierte die Saison erneut bei den Americans. Zwei Mal holten ihn die Sabres während der regulären Saison aufgrund von Personalengpässen noch in die NHL und viermal durfte er in den Playoffs aufs Eis, doch sein Vertrag wurde nicht verlängert. Im Herbst 2006 verließ Jillson Nordamerika und unterschrieb einen Vertrag bei den Eisbären Berlin in der Deutschen Eishockey Liga (DEL). Dort verpasste Jillson es allerdings, konstante Leistungen abzurufen. In Berlin wurde er besonders wegen seines Übergewichts und seiner Unbeweglichkeit kritisiert; dies führte dazu, dass die Eisbären seinen Vertrag nicht verlängerten. Er wechselte daher zurück nach Nordamerika ins Franchise der Colorado Avalanche, wo er für deren Farmteam Lake Erie Monsters spielte und im Saisonverlauf zweimal in den NHL-Kader beordert wurde, ohne jedoch eingesetzt zu werden.
Im Sommer 2008 verließ er die Organisation der Avalanche und wechselte zum HK MWD Balaschicha in die Kontinentale Hockey-Liga (KHL). Auch dort verblieb der US-Amerikaner nur kurz, da er nach wenigen Monaten zum finnischen SM-liiga-Klub Rauman Lukko wechselte. Zwischen 2009 und 2011 spielte er für den HC Eaton Pardubice in der tschechischen Extraliga und gewann mit Pardubice im Frühjahr 2010 die Tschechische Meisterschaft. Im Mai 2011 wurde Jillsons Vertrag mit Pardubice aufgelöst. Einen Monat später wurde er von den Piráti Chomutov aus der zweitklassigen 1. Liga verpflichtet. Nachdem er mit dem Team die Meisterschaft gewonnen hatte und in die Extraliga aufgestiegen war, beendete der 32-Jährige über den Sommer 2012 seine aktive Karriere.
(Legende zur Spielerstatistik: Sp oder GP = absolvierte Spiele; T oder G = erzielte Tore; V oder A = erzielte Assists; Pkt oder Pts = erzielte Scorerpunkte; SM oder PIM = erhaltene Strafminuten; +/− = Plus/Minus-Bilanz; PP = erzielte Überzahltore; SH = erzielte Unterzahltore; GW = erzielte Siegtore; 1Play-downs/Relegation; Kursiv: Statistik nicht vollständig)
