Desde 1986, se desempeñó como agente de pastoral carcelaria en el penal de Lurigancho. Realizó una serie de investigaciones en el campo penitenciario y criminológico, tanto en Perú como en Chile.[4]
De 1999 a 2011, fue director de la Comisión Diocesana de Pastoral Social de la Diócesis de Chosica y del Instituto de Teología Pastoral Fray Martín. También fue vicepresidente del Instituto de Estudios Social Cristianos (IESC).[5]
En agosto del 2011 asumió la presidencia del Instituto Nacional Penitenciario (INPE), cargo que ejerció hasta antes de ser nombrado ministro del Interior en febrero de 2015.[3]
En 2017 publicó el libro Entre Dios y el César, donde se explica la presencia la política cristiana evangélica aplicada en el Perú.[6]
Ministro del Interior
El 17 de febrero de 2015, Pérez Guadalupe juró como el séptimo ministro del Interior del gobierno del presidente Ollanta Humala, en reemplazo de Daniel Urresti Elera, integrando así un renovado gabinete presidido por Ana Jara. La ceremonia, en la que también juraron los ministros Daniel Maurate Romero (Trabajo y Promoción del Empleo), Marcela Huaita Alegre (Mujer y Poblaciones Vulnerables), Rosa María Ortiz Ríos (Energía y Minas) y Fredy Otárola Peñaranda (Justicia y Derechos Humanos), se realizó en el Salón Dorado de Palacio de Gobierno.[1]