뉴저지주뉴어크에서 푸줏간을 경영하던 헝가리부다페스트 출신의 유대계 이민자 가정 출신. 모친은 한 살이 채 되기 전 세상을 떴다. 10대 무렵에는 야간 학교를 다니면서 여러 가지 일에 종사하였다. 클라인은 암산에 뛰어나 1956년 뉴저지주 이스트오렌지에 있는 웁살라 대학교를 졸업했다. 몇몇 쇼 비즈니스 종사자들을 위하여 부기(簿記)와 레코드 회사의 감사(監査)를 담당했다. 이듬해 1957년 아내 베티와 함께 자신의 사업을 창업했다. 1965년 롤링 스톤스의 공동 매니저가 되지만 경제학에 능했던 믹 재거의 미움을 받아 해고된다.
1967년, 카메오-파크웨이 레코드라고 하는 레코드 회사를 매수해 ABKCO 레코드로 개명한다. 1969년에는 비틀즈와 계약을 맺지만 클레인의 나쁜 평판을 믹에게 들었던 폴 매카트니만은 계약하지 않았다. 클레인은 교묘하게 계약서에 자신의 이름을 올리지 않은 게 나중에 문제가 된다. 애플 코어 개혁에 나선 클레인은 부채산(不採算) 부문 정리, 저작권료 인상 등에서 공을 세우지만, 그 밀어붙임으로 인하여 애플 코어 내에서 알력이 생기고 피터 어셔는 제임스 테일러와 함께 애플을 떠난다. 게다가 비틀즈 해산에 즈음하여 폴이 상기의 이유에 의해 멤버 3명을 고소하는 사태로까지 발전한다. 해산 후에도 폴을 제외한 3명과의 관계는 계속되었지만, 그 후 발각된 부정 경리 등의 문제로 소송전으로까지 발전하여 1977년에 애플 코어가 크레인에 420만달러를 지불하고 간신히 관계를 청산했다. 조지 해리슨은 〈My Sweet Lord〉의 재판에서 클레인에게 배신당하자 그와 절연했다.
2009년 7월 4일 뉴욕에서 알츠하이머병으로 사망했다. ABKCO 레코드는 그의 아들 조디가 이었다.
