A tudomány iránti érdeklődését édesapja Czeglédy Sándor, a kiváló református tudós, Biblia-fordító lelkész keltette fel. Győri diákévei után a debreceni református teológián folytatott tanulmányokat. Ekkor jelentkezett orientalisztikai érdeklődése is. Alaposan elmélyedt az Ószövetség eredeti nyelveinek a hébernek és az aráminak a tanulmányozásában.
Egyetemi tanulmányait 1932-ben kezdte. Érdeklődése fő tárgya kezdettől fogva a sémi filológia volt, ezen belül különösen a régi sémi nyelvek, a héber és az asszír-babiloni érdekelte eleinte. Igen hamar sikerült ösztöndíjakat szereznie, így tanulmányait Belfastban és Utrechtben folytatta. Ezen a két helyen összesen 4 évet töltött. Külföldi tanulmányi idején érdeklődését kiterjesztette más sémi nyelvekre is, így a szírre, ugaritire, akkádra és az arabra. Hollandiában 1939 őszén doktorált volna, de ekkor már nem volt alkalma visszautazni, hogy levizsgázzon. Saját bevallása szerint[3] helyette nagy élmenyben volt része, mikor Pais Dezsővel találkozott Budapesten, majd az ő közvetítésével megismerte Németh Gyula és Ligeti Lajos orientalista professzorokat.
Így a háború elején sikerült újabb ösztöndíjas évet töltenie Bécsben. Ekkor kezdett el foglalkozni a magyar őstörténet problémáival, mely ezek után meghatározta tudományos tevékenységének fő irányát. Kutatásait később kiterjesztette az iráni és örmény forrásokra, valamint az iszlám vallástörténetének egyes fejezeteire is.
1941-től a háború évei alatt megbízott előadóként működött az akkori Pázmány Péter Tudományegyetemen. A háború után, 1946-ban először magántanári, 1948-ban pedig docensi kinevezést kapott, 1960-ban lett egyetemi tanár, majd 1964-ben kinevezték az általa újjászervezett Sémi Filológiai és Arab Tanszék vezetőjévé. Ezt a feladatot 1984-ig látta el. 1985-ben vonult nyugállományba, de még hosszú éveken keresztül részt vett a tanszék munkájában.
Czeglédy Károlyt a világ legkiválóbb sztyepptörténeti kutatói között tartják számon. Jelentős eredményeket ért el a turkológiában is. Fő kutatási területei: a sémi filológia, a szír, arab földrajzi és történelmi források feltárása, a magyar nép őstörténetének és a török népek történetének megismerése voltak. Tudományos kutatásai során sikerült tisztáznia a honfoglalás előtti magyar történelem, valamint a magyarokkal kapcsolatba került népek történetének nem egy vitatott kérdését.
Munkatársa volt a Philologiae Turcicae Fundamenta nemzetközi kézikönyvnek és a Cambridge History of Inner Asia folyóiratnak.
Elismerései
Eötvös Emlékérem
Kőrösi Csoma Emlékérem
Főbb művei
A zöngés velaris spirans az ugariti sémi feliratokban, 1941
Magna Hungaria, 1943;
IV-IX. századi népmozgalmak a steppén, 1954
A magyar őstörténet kérdései (társszerk.), 1955
Kaukázusi hunok, kaukázusi avarok, 1955
A kangarok (besenyők) a VI. századi szir forrásokban, 1955
Nomád népek vándorlása Napkelettől Napnyugatig, 1969
Magyar őstörténeti tanulmányok, társszerk., 1977
Ogurok és türkök Kazáriában, 1981
From East to West: The Age of Nomadic Migrations in Eurasia, monogr., 1983
