Serov studerte musikk i yngre år, men arbeidde lenge som embetsmann. I 1850 byrja han som musikkritikar og vart den fyrste forkjemparen i Russland for Richard Wagner sine reformidéar. Han debuterte i 1863 som tonesetjar med operaenJudith, skreiv sjølv librettoen. I 1866 kom han med ny opera, Rogneda. Begge operaene slo godt an, då ein jamsides Wagnerstilen spora nasjonale drag. I 1868 slutta han i embetsverket og konsentrerte seg om musikken. Hans rakk ikkje avslutte sin siste opera, Vrazjia sila ('Vonde makter'). Denne vart fullført av Nikolaj Solovjov i 1871 og vart med sine friske, folkelege innslag godt motteken av publikum. Serov skreiv også nokre kyrkjemusikalske verk, orkesterstykke og verk for kor.
Eit utval av musikkstykka hans vart gjevne ut i fire band, 1892-96. I nyare tid vert operaene til Serov sjeldan oppsett.
