Figlio dell'orafo ugonotto[1] Pierre Ollivier[2], nel 1568 giunse in Inghilterra con la famiglia[3][4]. Allievo di Nicholas Hilliard[1][3][4], di cui in seguito divenne rivale[1], e di Federico Zuccari, fu attivo tra il 1583 e il 1616, anni rispettivamente della prima e dell'ultima opera datate[3]. Viaggiò all'estero, probabilmente nei Paesi Bassi e sicuramente in Italia[4]. Il 13 maggio 1596, infatti, fu segnalato a Venezia[4], dove firmò il ritratto di Sir Arundel Talbot[3]. Sempre nel 1596 firmò un ritratto come Isacq oliuiero, Francese[3]: infatti si considerò sempre francese, attendendo a lungo prima di prendere la cittadinanza inglese[2]. Il 9 febbraio 1602 sposò Sara Gheeraerts nella chiesa olandese di Austin Friars[3]. In questa occasione fu citato come proveniente da Rouen[3]. Nel 1604 circa, divenne il miniaturista più famoso ed alla moda, soppiantando così il suo maestro nei favori del pubblico e divenendo il miniaturista della regina Anna di Danimarca[1][4]. Il 6 dicembre 1606 assunse la cittadinanza inglese[3].
Realizzò principalmente ritratti, studi di figure e rappresentò soggetti storici[3]. Le sue opere giovanili risentono dell'influenza di Hilliard, ma in seguito la sua maniera divenne ben distinta da quella del maestro[2]. Il suo stile, più naturalistico di quello di Hilliard[1], si rifà alla maniera dei ritrattisti di Anversa, come il Pourbus, attraverso le opere del cognato Marcus Gheeraerts[4], o Antonio Moro[5]. Questi ritrattisti utilizzavano colori scuri e spenti per realizzare le ombre e dare tridimensionalità ai soggetti realizzati[4]. Altra caratteristica delle opere di Oliver è l'utilizzo di decorazioni simboliche[1] e il gusto per i dettagli e gli effetti luministici[5]. È molto probabile che quest'artista dipingesse anche quadri di grandi dimensioni[1], anche se non ne è stato ancora identificato nessuno[4], ma alcune opere attribuite a William Larkin sembrerebbero suoi possibili lavori[1]. Oliver, inoltre, eseguì disegni che presentano reminiscenze del manierismo italiano[5], in particolare del Parmigianino[4].
Fu suo allievo il figlio Peter[3], che si specializzò anche nella realizzazione di copie da grandi maestri[1]. Le sue opere influenzarono James Palmer[3]. Collaborarono con lui i figli Peter e Isaac[5].
I tre fratelli Browne con un quarto uomo sconosciuto, tempera e oro su vellum montato su cartone, con le iscrizioni Figurae Conformis Affectus. Ano Dom 1598
Aetatis 21 / Aetatis 24 /Aetatis 28 /Aetatis 21, firmato con monogramma IO, 24 × 26 cm, 1598, Burghley House, Stamford[7]
