Slægtsnavnet kommer af, at sognepræst Mikkel Christensen (født Mikkel Christensen Riber, ca. 1610) blev omtalt som "hr. Ugiltius" (latinisering af "ham fra Ugilt") igennem hele sit præsteliv. Sønnen, Frands Mikkelsen Riber, fandt dog angiveligt Vogelius mere mundret og tog dette som efternavn på et tidspunkt omkring farens død i 1662.
Slægten kan dog spores helt tilbage til borgmester i Sæby, Mikkel Sørensen Riber (født 1540), som formodes at komme fra en af Ribes handelsslægter.
Slægten og dennes navn har ingen forbindelse til efternavnet Vogel.