Üheksa-aastaselt abistas ta oma võõrasisa, kes oli leivatööstur. 14-aastaselt läks palgatööle; ta töötas Peterburis ja Moskva kubermangus. 1860. aastal kolis ta Jamburgi ja alustas oma äri. 1874. aastast tegutses Narvas, kus asutas rektifikatsiooni- ja viinatehase.[1]
1886. aasta märtsis ostsid abikaasad 11 500 rubla eest Rüütli 28 asunud kahekorruselise maja. Pärast maja ümberehitamist kolis Lavretsovide perekond sinna.[1]
Lavretsovid soetasid elu jooksul suure maalide ja muude kunstiesemete kogu, mille pärandasid koos oma maja ja varaga Narva linnale. Kunstikogus oli kokku 800 000 eset.[2]
Oma raha eest ehitas Lavretsov linnale ambulatooriumi ja sünnitusmaja.[2]
Lavretsovid asutasid vaestest peredest pärit laste hariduse toetamiseks stipendiumi. Stipendium ja maalide ostmine oli materiaalne toetus noortele kunstnikele, sealhulgas tuntud eesti kunstnikule Ado Vabbele (kes tänu Lavretsovide stipendiumile sai hariduse Münchenis ja rändas aasta Itaalias), Peet Arenile, August Jansenile ja teistele. Lavretsovid toetasid ka Peterburis akadeemilise hariduse saanud, juba väljakujunenud kunstnikke, nagu Peeter Hellerit, Nikolai Semjonovit, Nikolai Lundi ja Eduard Verberit.[3]
Pärast Sergei ja Glafira Lavretsovi surma läks nende maja ja kunstikogu vastavalt testamendile Narva linna omandisse.[2]
Muuseum avati pidulikult 9. augustil1913. Muuseumi kogu moodustas Sergei ja Glafira Lavretsovi poolt 19. sajandi lõpul ja 20. sajandi algul kogutud kunstikogu.[2]
Maalidest oli kogus vene 19. sajandi lõpu akademismi ja realismi esindajate töid – Ivan Aivazovski, Leo Lagorio, Vladimir Makovski jpt teoseid. Samuti olid teostega esindatud Narvas töötanud kunstnikud ja eesti noored kunstnikud.[2] Lavretsovid ostsid teoseid oma arvukate Venemaa ja Lääne-Euroopa reiside ajal Peterburi näitustelt, kunstnike ateljeedest või kunstikaupmeestelt.[3]
Lisaks kujutavale kunstile kuulus Lavretsovi kogusse ka tarbekunsti, kultuuriloolisi ja etnograafilisi esemeid, mineraloogilist ja zooloogilist materjali.[3]
1920.–1930. aastatel täiendati kunstikogu kunstiostude ja annetustega Eesti kunstnikelt. Narva linnavalitsus andis muuseumile üle 18.–19. sajandil maalitud Narva raehärrade ja teiste auväärsete kodanike portreed, mis olid seni asunud Narva raekojas.[2]
