Kolstrup gikk ut fra Kolding Gymnasium i 1966. Han ble cand.mag. i historie og samfunnsfag fra Aarhus Universitet i 1973 og tok en ph.D.-grad i historie og samfunnsforhold i 1997.
Fra 1974 var han lektor ved Maribo Gymnasium, hvor han var tillitsmann fra 1977 til 1984. Han har siden 1994 vært gjesteforeleser ved Roskilde Universitet. Senere har han også vært tilknyttet Syddansk Universitet som ekstern lektor.
Hans politiske løpebane begynte hos Venstresocialisterne, som Kolstrup var folketingskandidat for i Maribokredsen 1974–1986. Han satt også i VS' hovedstyre fra 1982 til 1986. Da Enhedslisten ble dannet ble han aktiv i EL, og var fra 1990–1994 folketingskandidat i Maribokredsen og fra 1994 medlem av partiets økonomisk-politiske utvalg. I 1997 stilte han opp i Odense Østkredsen og Otterupkredsen. Han satt som folketingsmedlem for Enhedslisten i Fyns Amtskreds fra 11. mars 1998 til 20. november 2001.