Родился в Елисаветграде, по большинству источников — 3 (15) ноября 1807 года (но также указываются 1805 и 1806 годы). Родственники Осипа Афанасьевича с материнской стороны, по фамилии Петровы, были елисаветградские 3-й гильдии купцы, «породы греческой», по выражению ревизских сказок, но значительно обрусевшие. Мать его, Авдотья Савельевна, отлично говорила по малороссийски; не высокого роста, полного телосложения, она выдавала свою «греческую породу» черными волосами и смуглым цветом лица.
С. К. Зарянко. Портрет оперного артиста Осипа Афанасьевича Петрова. 1849 год.
С детства пел в церковном хоре, самостоятельно научился играть на гитаре. Его взял к себе дядя, брат матери, торговец, чтобы отвлечь от «музыкальных глупостей» и привлечь к делу. Но предприниматель из будущего певца не получился, племянник покинул раздосадованного дядю. В 1826 году попал в гастрольную труппу Жураховского, впервые выступил в водевиле Катерино Кавоса на текст Шаховского «Казак-стихотворец», а вскоре стал участником труппы Ивана Штейна, где познакомился с театральным актёром Михаилом Щепкиным, который оказал большое влияние на его творческое развитие. После нескольких лет выступлений в провинциальных городах в 1830 певец оказался в Петербурге, где с восторгом был принят публикой. В Мариинском театре, он проработал до конца своей жизни — с 1830 по 1878 год. Дебютировав в опере Моцарта «Волшебная флейта», он вскоре стал одним из ведущих столичных оперных солистов, исполняя басовые партии в сочинениях Мейербера, Россини, Беллини и других композиторов. Петров также совершенствовался в теории музыки и игре на фортепиано у И. К. Гунке и в пении — у Кавоса.
В апреле 1876 года в Мариинском театре праздновалось пятидесятилетие сценической карьеры Петрова. Ему была преподнесена золотая медаль от императора и позолоченный лавровый венок, на каждом листе которого было выгравировано название одной из опер, в которых он пел.
Объём голоса Петрова составлял более чем две с половиной октавы: от B1 (си-бемоль контроктавы) до fis1 (фа-диез первой октавы). Его пение отличали теплота, глубина и чёткость интонации. Обладая хорошим актёрским мастерством, Петров успешно исполнял как драматические, так и комические роли в русских и зарубежных операх.
Был женат на Анне Воробьёвой, которая также стала выдающейся оперной певицей.
