Érettségi vizsgáját követően a Harvard Egyetemen tanult amerikai irodalmat és történelmet. Az egyetemi évek alatt a Harvard Lampoon című szatirikus lapba írt cikkeket.
A diplomázást követően (1985) két évig a Not Necessarily the News című HBO-műsor szerzői közé tartozott.
1988-ban szerződtették szkeccs-írónak a Saturday Night Live című komédia-műsorhoz, ahol több mint három évig dolgozott. Néhány jelenetben maga is fellépett. 1989-ben a többi szerzővel együtt Emmy-díjjal jutalmazták a tevékenységét.
Amikor David Letterman1993-ban az NBC csatornától átment a CBS csatornához, O’Briennek ajánlották fel előbbi műsorblokkját. A kezdeti években gyenge kritikákat és visszafogott nézettséget eredményezett a Late Night with Conan O’Brien című műsor, de idővel egyre népszerűbbé vált.
2004. szeptember 27-én, Jay Leno bejelentette, hogy 2009-ben elhagyja az általa vezetett The Tonight Show című műsort, amelyet Conan O’Brien fog átvenni. Ez 2009. június 1-jén meg is történt, ám pár hónap elteltével az NBC úgy döntött, hogy Lenót szeretné újra a Tonight Show műsorvezetői székében látni.
2010. január 22-én ment le az utolsó adás O'Brien műsorvezetésével, a műsor után kapott végkielégítésből turnézni kezdett, így adva munkát a jól összekovácsolódott stábjának.
2010. április 12-én, O'Brien bejelentette, hogy szerződést írt alá a TBS kábelcsatornával, így 2010 novemberétől heti négy alkalommal jelentkezik új esti műsorával.[2][3]
O'Brien a Brookline középiskolába járt, ahol irányító szerkesztő volt az iskolai újságnál.[6] A végzős évében megnyert egy, az Angoltanárok nemzeti tanácsa által rendezett versenyt, a "To Bury the Living" nevű rövid történetével.[7] Miután leérettségizett, 1981-ben felvették a Harvard Egyetemre.[8] Elsőévesként a Holworthy Hallban lakott,[9] majd a Mather House-ban töltötte el a maradék három évet. Figyelme elsősorban a történelemre és az irodalomra koncentrálódott, majd magna cum laude vizsgázott le.[10]