כהן־טנוג'י נולד לאברהם כהן־טנוג'י ושרה לבית סבאח בקונסטנטין באלג'יריה הצרפתית. מוצאה של משפחתו הוא מטנג'יר שבמרוקו הספרדית (וזה מקור "טנוג'י" שבשם משפחתו), והיא הגיעה לאלג'יריה דרך תוניסיה. כהן־טנוג'י מעיד כי למד מאביו את מה שהוא רואה כמאפייני היסוד של המסורת היהודית: חקר, לימוד ושיתוף הידע. הוא למד בבית ספר יסודי ותיכון באלג'יריה, ובשנת 1953 עבר לפריז כדי ללמוד ב"אקול נורמל סופרייר", ושם למד עד 1957. בתחילת לימודיו נמשך למתמטיקה, אך אישיותו הכובשת של מורהו לפיזיקה, אלפרד קסטלר (חתן פרס נובל לפיזיקה לשנת 1966), גרמה לו לבחור בפיזיקה.
בשנת 1958 נישא לז'קלין לבית ואיירט (Veyrat), מורה לפיזיקה ולכימיה בבית ספר תיכון, ונולדו להם שלושה ילדים. בנם הבכור, אלן, נפטר ממחלה בשנת 1993.
לקלוד אח בשם ז'יל, פיזיקאי אף הוא. בנו של ז'יל, דניז, הוא היסטוריון, אשר כתב, בין היתר, חיבור היסטורי מקיף, המתעד את תולדות משפחת כהן-טנוג'י מאז רב ישמעאל כהן טנוג'י, לפני כ-400 שנה.
כהן־טנוג'י התגייס לצבא צרפת, ושירת בו במשך 28 חודשים. חלק משירותו עשה ביחידה מדעית. בשנת 1960 חזר להשלמת לימודי המחקר שלו, ובשנת 1962 הגיש את הדוקטורט שלו בפיזיקה בהדרכת אלפרד קסטלר וז'אן בוסל. עם תום לימודיו, קיבל משרת הוראה באוניברסיטת פריז. כתוצאה מפעילות הוראה זו כתב את הספר "מכניקת הקוונטים" (יחד עם שני עמיתים), הנחשב לספר לימוד מרכזי בתחום זה.
בשנת 1973 התמנה לפרופסור ב-קולז' דה פראנס, שהוא מוסד לימודים שהכניסה אליו פתוחה לכל, והפרופסורים בוחרים נושאי לימוד כראות עיניהם. בעקבות פעילות זו חיבר (עם עמיתים) ספרים העוסקים באלקטרודינמיקה קוונטית ובאופטיקה קוונטית.