Damants Vater gleichen Namens († 1568) war ein Rat und Schatzkämmerer Kaiser Karls V., seine Mutter Anna Bave starb 1559.[1] Sein Bruder war der Staatsjurist und Kanzler von BrabantNicholas Damant (1531–1616). Seine Schwester Jacqueline war die Ehefrau des einflussreichen Kaiserberaters Viglius von Aytta.
Der Sohn Pieter wurde nach einem Studium beider Rechte 1542 Kanoniker in Gent und 1585 zum Dekan der St.-Bavo-Kathedrale (Gent). Seit 1554 war er Geistlicher Rat im Provinzialrat von Flandern. 1589 nominierte König Philipp II. ihn zum Bischof von Gent. Nach seinem Tod 1609 wurde er in der Kathedrale begraben, das Grab ist erhalten.