Virolainen werd geboren veertien kilometer buiten de Karelische stad Viipuri (toentertijd de tweede stad van Finland). Na de Vervolgoorlog moest Finland Karelië afstaan aan de Sovjet-Unie. Virolainen werd geëvacueerd en vestigde zich in Lohja. Hij werd een van de leiders van de Karelische vluchtelingen. Johannes Virolainen was een geheelonthouder, maar zei eens: ,,De dag dat ik bier drink is wanneer de Sovjet-UnieKarelië aan Finland teruggeeft."
De verkiezingen van maart1966 leverde een verschuiving naar links op. Virolainen bood daarop zijn ontslag in en werd vervangen door Rafael Paasio van de SDP.
In 1982 schoof de Centrumpartij Virolainen naar voren als presidentskandidaat. Hij kreeg echter onvoldoende stemmen in het college van kiesmannen.
