Karloff var sønn av Edward John Pratt jr. og hans tredje kone, Eliza Sara Millard. Hans bestemor var Eliza Julia Edwards, søster av Anna Leonowens, hvis historier om livet i Siam (Thailand) dannet grunnlaget for musikalenThe King and I. Gjennom henne kunne Karloff påberope seg fjernt øst-indisk opphav, da det synes som Eliza Edwards og hennes søster, Anna, var barn i et blandet ekteskap.[trenger referanse]
Karloff påberopte seg dog ofte russisk opphav som forklaring på sitt eksotiske utseende, men hans datter, Sara Karloff, har offentlig benektet enhver kjennskap til eventuelle slaviske forfedre.[trenger referanse]
Han ble foreldreløs i ung alder, og ble oppfostret av sine eldre søsken og gikk på Enfield Grammar School før han flyttet over til Uppingham School i Rutland, og til slutt University of London. Karloffs første karrieremål var å bli en del av utenrikstjenesten.[trenger referanse] Broren, John Henry Pratt, ble diplomat. Istedenfor ble det skuespillerkarriere for ham.
I 1909 reiste Karloff, som fortsatt da hadde navnet Pratt til Canada, hvor han endret navnet sitt. Hans første jobb var i Jeanne Russell Theater Co. i Kamloops i Britisk Columbia.
Da Karloff kom til Hollywood i California, opptrådte han i flere stumfilmer før han i 1931 dukket opp som det gjenopplivede monsteret i skrekkfilmen Frankenstein. Rollen gjorde ham til verdensstjerne, og hans rolletolkning og maskerte ansikt har siden for mange blitt ensbetydende med det «ekte» og opprinnelige Frankensteins monster, til tross for en mengde andre versjoner før og etter.[trenger referanse] Ett år senere framstilte han nok en rollefigur som også har blitt et ikon i populærkulturen, nemlig «Imhotep» i Mumien. Den første Frankenstein-filmen ble en stor økonomisk suksess og fikk to oppfølgere med Karloff i hovedrollen: Frankensteins brud i 1935 og Frankensteins sønn i 1939.
Karloff framstilte forskjellige slags rolleskikkelser, også i annet enn grøssere. Han spilte blant annet i gangsterfilmen Scarface fra 1932 og det episke dramaet The Lost Patrol fra 1934.
