Hermansson vokste opp i Sundsvall, der han i midt på 1930-tallet ble aktiv blant de unge sosialdemokratene i SSU. Etter å ha flyttet till Stockholm for å studere ble han medlem i den sosialistiske studentorganisasjonen Clarté. Dette førte til at han ble utelukket fra SSU, og i 1941 gikk han over til Sveriges kommunistiska parti. Etter å ha blitt pol. mag. ble han i 1941 ansatt i avisen Ny Dag, der han senere var sjefredaktør fra 1959 til 1964.
Hermansson bidro i sin siste aktive periode i partiets ledelse og spesielt i sin tid som partileder til at partiet distanserte seg fra Sovjetunionen og orienterte seg mot eurokommunismen.[8] Han var «en av de få i partiledelsen som kritiserte de sovjetiske overgrepene».[9] På partikongressen i 1967 ble det fastslått at internasjonal solidaritet ikke bare skulle begrenses til kommunistpartier, men også omfatte andre bevegelser, partier og grupper som i ulike land kjempet for fred, nasjonal selvstendighet, frihet og sosialisme. Det innebar også samarbeid med venstresosialistiske partier og sosialdemokratiske partier.[10]
I 1968 tok Hermansson sterkt avstand fra Warszawapaktens innmarsj i Tsjekkoslovakia under Prahavåren.[trenger referanse] Han krevde umiddelbart at Sveriges diplomatiske forbindelser med Sovjetunionen skulle fryses – noe han var alene om blant de svenske partilederne. To år senere hadde Hermansson imidlertid tonet ned kritikken, og SKP sendte delegater til Tsjekkoslovakia for å besøke en partikongress organisert av den sovjetlojale regjeringen som var blitt innsatt etter invasjonen. Hermansson forklarte da at selv om SKP fortsatt var kritisk til Warszawapaktlandenes invasjon, ville han «opprettholde gode forbindelser» med Tsjekkoslovakias kommunistiske parti.[11]
Til tross for at man offentlig tok avstand fra den sovjetiske ledelsen pleide VPK under Hermanssons partiledertid nære forbindelser med det sovjetiske kommunistpartiet. Hermansson uttalte så sent som 27. januar 1981, i Radioprogrammet Apropå, sitt syn:
«Här handlar det ju inte heller om att man skall sitta i ett litet land uppe i Norden och moralisera över utvecklingen i andra länder och säga att det där är bra, det där är dåligt. --- Man kan inte göra det, därför att det skulle vara att tillämpa, så att säga, svenska fördomar och svenska föreställningar på utvecklingen i hela världen. Det vore helt orimligt. Det är ju dock så att det pågår en politisk kamp i världen. Imperialismens krafter väjer inte för ett tredje världskrig och det är oerhört viktigt att se till att man är placerad i rätt kraftfält i den kampen.»[trenger referanse]
I sin tid i SKPs ledelse før oppstanden i Ungarn var Hermansson, som hele partiet, svært lojal mot Sovjetunionen og dets ledelse. Hermansson reiste også til Stalins begravelse i Moskva der han holdt en tale som han siden angret.[12]
Hermansson har blitt kjent for uttrykket «Någon jävla ordning ska' det va’ i ett parti»[13]. Denne uttalelsen, som ble TV-sendt, falt i en tale på en partikongress i 1969 i forbindelse med all splid og internt bråk man opplevde i partiet. Ettersom det på denne tiden var ytterst uvanlig med bannord på TV har uttrykket «någon jävla ordning» nærmest blitt et bevinget ord.
Han var fra 1941 gift med Märta Katz (1916–2001) som han hadde to døtre med. Hermansson var den rikeste partilederen i sin tid. Årsaken var konas formue og felles beskatning at ektefeller.
