Neben verschiedenen Schriften über bayerische Persönlichkeiten und Gemeinden publizierte er zwei größere Werke über die Geschichte Bayerns: Bayern. Ein geographisch-statistisch-historisches Handbuch des Königreiches sowie eine Sammlung von Biographien bekannter Bayern. Dieses Werk entstand aufgrund eines von der Historischen Kommission der Bayerischen Akademie gestellten Antrages und von Maximilian II. Joseph 1860 ausgesetzten Preises, den Stumpf für sein vorgelegtes Konzept erhielt.
Denkwürdige Bayern: kurze Lebensbeschreibungen verstorbener verdienter Männer, die in dem Ländergebiete des jetzigen Königreichs Bayern geboren oder durch längeren Aufenthalt ihm angehörig waren. Rieger, München 1865.
Wilhelm von Giesebrecht: Sitzungsberichte der philosophisch-philologischen und historischen Classe der k. b. Akademie der Wissenschaften zu München. Nekrolog auf Pleikard Stumpf. Band1. Akademische Buchdruckerei F. Straub, München 1878, S.194–195.