Destacou-se como aluno do colégio de Bolonha, mas não conclui os seus estudos. Entre 1839 e 1840 residiu em Inglaterra, onde trabalhou como professor de desenho e francês na Shakespeare House Academy em Stratford.
Em 1841 regressou à sua terra natal, onde retomou os estudos, tendo obtido o bacharelato em Letras em apenas ano e meio. No ano seguinte recebeu o acervo documental de Nestor L´Hôte, desenhador que acompanhou Jean-François Champollion na viagem de exploração do Egito de 1828-29. Foi a partir deste momento que nasceu em Mariette o interesse pela civilização do Antigo Egito, tendo se dedicado a estudar a Gramática de Champollion. Em 1845 contraiu matrimónio como Eléonore Millon.
Em 1849 inicia-se a sua carreira no Departamento de Antiguidades Egípcias do Museu do Louvre. No ano seguinte visita o Egito com o objectivo de adquirir documentos coptas, mas não teria sucesso na sua missão, dado que os monges coptas negavam-se a vendê-los. Mariette decidiu então realizar escavações em Sacara, a necrópole da antiga cidade de Mênfis, onde descobre em 1851 o Serapeu de Sacara, um conjunto de galerias subterrâneas onde se sepultava o boi sagrado Ápis. Em 1853, enquanto realizava escavações junto à Esfinge, encontrou o Vale dos Templos do faraó Quéfren.
Entre 1855 e 1861 exerceu funções de conservador assistente no Louvre e partir de 1861 como assistente honorário. Em 1858 fundou no Egito o Serviço de Antiguidades, cujo objectivo era evitar a saída cladestina de antigos objectos egípcios. Conseguiu convencer o vice-rei do Egito a fundar em Bulaque, perto do Cairo, um museu de antiguidades egípcias, que foi o antepassado do Museu Egípcio. O museu abriu as suas portas em 1863 e viria a receber a visita do escritor português Eça de Queirós.
Realizou escavações arqueológicas um pouco por todo o Egito, em locais como Abidos, Tânis e Tebas. Descobriu o templo de Seti I, o túmulo da rainha Aotepe I (famoso pelas belas jóias), assim como algumas das peças mais famosas da arte do Antigo Egito, como a estátua do escriba ajoelhado, a estátua em madeira do sacerdote Kaaper e uma estátua em diorito de Quéfren.
Foi autor do libreto da ópera Aida de Giuseppe Verdi, tendo a primeira representação da obra ocorrido em 1871 no Cairo, por ocasião da abertura do Canal do Suez.
