Pedro nació en Yaroslavl el 26 de agosto de 1812, pues su padre, el duque Jorge de Oldemburgo, era el gobernador de la región del Volga. Desde su boda en 1809 con la gran duquesa Catalina, la hermana favorita del zar Alejandro I, el duque Jorge se había instalado en Rusia, donde tenía más posibilidades de hacer carrera que en el pequeño ducado de Oldemburgo que gobernaba su padre, el duque Pedro I, y que había de heredar su hermano mayor, Augusto. El duque murió seis meses después del nacimiento de Pedro, pero él y su hermano Alejandro siguieron viviendo en Rusia bajo la protección de su tío el zar hasta que en 1816 su madre se casó con el rey Guillermo I de Wurtemberg y la familia se trasladó a Stuttgart.
A la muerte de su madre en 1819, Pedro fue enviado a Oldemburgo, donde se educó hasta que le llamó a Rusia su tío, el zar Nicolás I, que había sucedido en el trono a su hermano, Alejandro I. Nombrado coronel de la guardia imperial en mayo de 1829, fue ascendiendo hasta que dejó la carrera militar, con grado de teniente general, en 1833. Se implicó entonces en el gobierno: fue nombrado senador en 1834 y se interesó particularmente en la educación, área a la que dedicó sus mayores esfuerzos. Fundó la Escuela Imperial de Jurisprudencia y en 1844, una institución para la educación femenina.
