Han tilhører slekten Collet (også skrevet Collett) på Lundbygård sør på Sjælland. Han er sønn av kammerherre, hoffjegermester og godseier Harald Collet og hagearkitekt Else Collett.[1] Moren tilhørte den norske grenen av samme slekt, som datter av Johan Collett, disponent i Firma Albert Collett i Namdalen.
Han gikk på kostskole på Herlufsholm, avtjente verneplikten i Den Kongelige Livgarde, og tok deretter praktisk landbruksutdannelse og driftslederkurs. Han er utdannet siviløkonom fra Handelshøjskolen i København fra 1968.[1] Deretter overtok han som eier av den 11 000 dekar store Lundbygård, der det produseres juletrær.[2] Collet arbeidet også for General Mills i USA 1968–1971, som konsulent for Carlsen-Langes Legatstiftelse 1973–2005 og som forstander ved Herlufsholm 1991–1993. Han har vært reserveoffiser.[1]
Collet valgt til Folketinget fra Storstrøms amtskrets 1981–1990. Collet var de konservatives landbrukspolitiske og finanspolitiske talsmann. Han var forsvarsminister i Poul Schlüters andre regjering 1987–1988 og så formann i Folketingets landbruks- og fiskeriutvalg 1988–1990.[1]
Han er medforfatter av Kilder til Danmarks Historie 1945-82 (1984)[1] og 13 værdier bag den danske velfærdsstat (2007). I 2012 utgav CEPOS et festskrift til Collet. Han var styreformann i CEPOS 2004–2012.[3]
Han giftet seg i 1968 med psykolog Catharina Marie Löwegren fra Stockholm, datter av direktør i Svenska Handelsbanken Gunnar Löwegren og hustru Karin Leo. Hennes farfar og morfar var de svenske sosialdemokratiske politikerne Gunnar Löwegren og Henning Leo.[4]
