Il était le fils de Jean Ier, comte Palatin et duc de Simmern (1459-1509), issu de son mariage avec Jeanne (1464-1521), fille du comte Jean II de Nassau-Sarrebruck. Contrairement à la coutume de l'époque, le prince reçut une formation plus étendue dans le domaine scientifique que dans les exercices chevaleresques. Dans le domaine des sciences naturelles, des sciences politiques et du droit, Johann était considéré comme le prince le plus instruit de son temps. Nombreux étaient les artistes et les savants auxquels il était lié.
L'empereur Charles-Quint tenait Jean II en haute estime, ce qui fait que jusqu' à sa mort, il fut juge à la Cour impériale de Spire et, à partir de 1523, statthalter (représentant de l'empereur en son absence) du gouvernement impérial.
Sous son règne, le duché de Palatinat-Simmern connut un âge d’or. C'est lui aussi qui probablement créa dans sa ville où il résidait une école latine qui est attestée pour 1514. C’est d’elle qu’est né plus tard le Herzog-Johann-Gymnasium, qui porte son nom. En 1530, il installa une imprimerie au château de Simmern. Hieronymus Rhodler y travaillait comme imprimeur. Parmi les produits les plus connus de cette imprimerie figure le livre des tournois de Georg Rüxner. Johann von Trarbach et un "Maître de Simmern" inconnu créèrent d'importantes tombes de la Renaissance qu'on peut voir dans l'église Saint-Étienne de Simmern.
Une politique habile permit à Jean II d’assurer la succession de la lignée palatine à son fils Frédéric III. C'est ce qui se produisit en 1553 dans une compétition entre tous les chefs des lignées palatines à Heidelberg, lorsque la lignée de Neubourg avec l'électeur Ottheinrich était sur le point de s’éteindre. Dans cette compétition, Jean transféra une partie du comté de Sponheim, Lützelstein, Guttenberg et autres lieux à la maison de Palatinat-Deux-Ponts.
En 1555, peu avant sa mort, il abolit le servage pour les habitants de Simmern.
