Karaiimi rahva tekkimine ja varasem ajalugu on seotud Kasaari kaganaadiga. Karaiimid kujunesid välja 8.–10. sajandil Kasaari kaganaadi äärealadel (põhiliselt Krimmis) juudi meeste ja kasaari rahvusest naiste abieludest sündinud lastest. Judaismi seaduste kohaselt ei loetud neid juutideks, kuna juut on ainult see, kelle ema on juudi rahvusest. Samuti ei olnud neil lubatud talmudit õppida.[7]
Leedu karaiimi elanikkond sai alguse 1397. aastal, kui suurvürst Vytautas tõi Krimmist Leedusse Trakai piirkonda 383 karaiimi perekonda.[8] Trakai on olnud Leedu karaiimide keskus. Tänapäeval elab enamik Leedu karaiime Vilniuses (138), Trakais (65) ja Panevėžysis (31).[9]
Eestis (Tallinnas) elas 1931. aastal 22 karaiimi, kellest tuntuim (ja esimene) oli Boris Kara (1869-1931); kellele kuulus maja Viru 19, kus ta pidas tubakapoodi.[10]
