De provincie ontstond in 1824 door samenvoeging van de provincies Oost-Pruisen en West-Pruisen. Regeringsleider van de provincie Pruisen werd de voormalige eerste president van West-Pruisen, Theodor Heinrich von Schön, die reeds sinds 1815 op deze vereniging had aangedrongen. Aanvankelijk werd deze provincie in personele unie bestuurd, op 3 december1829 werd het bestuur van de twee voormalige provincies daadwerkelijk samengevoegd.
De twee grote steden Danzig en Elbing drongen om economische redenen echter weer op scheiding van de provincie aan, hetgeen op 1 april1878 gebeurde.