Christian Jürgensen Thomsen bemærkede snart den iver, hvormed Herbst dyrkede numismatiske og arkæologiske studier, af hvilke de første allerede havde optaget ham i hans skoletid, og da Thomsen i 1843 ansatte Herbst som "Assistent ved Forevisningen", opgav Herbst sit påbegyndte juridiske studium.
Thomsen efterlod sig ved sin død i 1865 indstilling om Herbsts udnævnelse til hans efterfølger ved museet for de nordiske oldsager, men som bekendt blev denne stilling forenet med de direktørposter, som Jens Jacob Asmussen Worsaae beklædte. Efter Worsaaes død 1885 konstitueredes Herbst i dennes embede, kongelig udnævnelse fik han i 1887.
Herbst, der hørte til Thomsens første elever, har på de forskellige trin af sin museumsvirksomhed været en udmærket støtte for vore samlingers fremvækst. Altid velvillig og hjælpsom i sin stilling over for læg og lærd og særlig over for samlernes store skare har han til gengæld selv fundet velvillig imødekommen, når han har søgt at skaffe museerne erhvervelser, som disse kun ved hjælp af private sammenskud kunne nå, og meget betydelige er de forøgelser, som navnlig møntsamlingen og museets antikvarisk-topografiske arkiv således skylde Herbsts initiativ. Som et taknemmelighedstegn lod en kreds af kolleger og venner i 1885 præge en guldmedalje med Herbsts billede, som overraktes ham på hans sølvbryllupsdag.
Fra 1848 og i henved 25 år blev museets righoldige fundprotokoller førte med Herbsts hånd, og ingen kunne dengang med større indsigt og omhu have lagt et så betydningsfuldt materiale til rette for vort oldtidsstudium; med praktisk sans har Herbst konstant forbundet et øvet kritisk øje ved bedømmelsen af oldsager fra alle tidsaldre.
På en tid, da museet så at sige aldrig fik forøgelser ved fund optagne under omhyggelig sagkyndig ledelse, vakte i 1845 Herbsts "Hvidegårdsfund" med det bekendte indholdsrige "Sejdmandsbestik" fra bronzealderen en stor opmærksomhed, og det skyldes Herbsts tilstedeværelse ved udgravningen af de første egekistefund med velbevarede klædedragter fra bronzealderen i Trindhøj og Kongshøj ved Vamdrup 1861 og 1862, at de mærkelige fund optoges i så velbevaret stand.
Sammen med professor Japetus Steenstrup ledede Herbst i 1859 undersøgelsen i Vimose i Fyn og deltog 1861 i udgravningen af Jellinghøjene. Protokollen over undersøgelsen af kongegravene i Ringsted, der er offentliggjort i det bekendte værk om dem (1858), skyldes Herbst.
I litteraturen er Herbst for øvrigt kun fremtrådt med mindre numismatiske og arkæologiske arbejder, der navnlig findes i oldskriftselskabets tidsskrifter. Herbst var blevet valgt til sekretær for oldsagafdelingen i dette selskab 1865, men trådte i 1868 tilbage fra denne post under forhold, der karakteriseredes ved striden i selskabets Aarbøger om opdagelsen af den ældre jernalder.
