Nel dopoguerra il Pirmasens viene inserito nell'Oberliga Südwest, ottenendo qui due secondi posti, nel 1954 e nel 1962, ma soprattutto tre titoli, che vengono conquistati tra il 1958 e il 1960. La squadra partecipa anche a quattro edizioni della fase nazionale, ma senza mai riuscire a superare il primo turno; in questo periodo c'è in squadra Heinz Kubsch, che diventa campione del Mondo in Svizzera pur senza scendere mai in campo.
Nel 1963 nasce in Germania Ovest la Bundesliga, tuttavia il Pirmasens non si riesce a qualificare al nuovo campionato. Si ritrova quindi in uno dei gironi dell'allora secondo livello, la Regionalliga Südwest; lotta più volte per la promozione in Bundesliga, ma senza riuscire ad ottenerla. Nel 1974 il club si qualifica invece alla Zweite Bundesliga, e sfiora nuovamente la promozione: arriva infatti subito secondo, ma viene poi sconfitto nel play-off dal Bayer Uerdingen. Il Pirmasens disputa tuttavia disputa l'ultimo campionato di seconda divisione nella stagione 1977-1978, dopo essere comunque stato riammesso l'anno precedente a completamento dell'organico.
La squadra rimane fino al 1992 al terzo livello, ma successivamente scende anche al quinto. Dall'inizio degli anni duemila il Pirmasens torna però stabilmente in quarta divisione; notevole è in questo periodo la partecipazione alla DFB-Pokal 2006-2007, dove nel primo turno elimina il Werder Brema ai calci di rigore.
