Il a étudié la médecine dans sa ville natale à l'université de Leyde. Plus tard, il sera professeur résident à l'université de Groningue. Un de ses premiers patients fut un homme de 22 ans, souffrant d'une insuffisance rénale.
Kolff développa un programme de remplacement d'organe par un organe artificiel et fut également à l'origine de la première banque du sang en Europe (en 1940).
Durant la Seconde Guerre mondiale, il fut basé à Kampen, où il prit part dans la lutte contre l'occupation allemande. Simultanément, Kolff développa le premier rein artificiel. Il traita son premier patient en 1943. En 1945, il arrive à maintenir une femme en survie grâce à l'hémodialyse.
