Han tilhørte den norske slekten Collett, og var sønn av amtmann Johan Collett (1775–1827) og Christiane Birgitte de Stockfleth (1782–1829). I 1841 giftet Collett seg med Camilla Wergeland; paret fikk fire sønner sammen, blant dem professor i zoologi Robert Collett og historikeren og genealogen Alf Collett.