Józef Olszewski war Aktivist im Kommunistischen Polnischen Jugendverband KZMP (Komunistyczny Związek Młodzieży Polski), der Jugendorganisation der Kommunistischen Partei Polens KPP (Komunistyczna Partia Polski) und der Kommunistischen Partei Polens (1918–1938) KPP (Komunistyczna Partia Polski). Während des Zweiten Weltkrieges befand er sich in der Sowjetunion, wo er sich für die Polnische Arbeiterpartei PPR (Polska Partia Robotnicza), die am 5. Januar 1942 im Untergrund in Warschau gegründet worden war, sowie den im März 1943 gegründeten Bund Polnischer Patrioten ZPP (Związek Patriotów Polskich) engagierte. Nach Kriegsende wurde er am 9. März 1948 Nachfolger von Roman Adam StaniewiczBotschafter in der Tschechoslowakei und bekleidete diese Funktion bis zum 7. März 1949, woraufhin Leonard Borkowicz ihn ablöste. Auf dem I. (Gründungs-)Parteitag der Polnischen Vereinigten Arbeiterpartei PZPR (Polska Zjednoczona Partia Robotnicza) (15. bis 22. Dezember 1948) wurde er erstmals Mitglied des ZK und gehörte diesem Führungsgremium der Partei nach seinen Bestätigungen auf dem II. Parteitag (10. bis 17. März 1954), auf dem III. Parteitag (10. bis 19. März 1959) sowie auf dem IV. Parteitag (15. bis 20. Juni 1964) bis zum V. Parteitag (11. bis 16. November 1968) zwanzig Jahre lang an.
Olszewski war des Weiteren zwischen 1950 und 1957 Erster Sekretär des PZPR-Komitees von Katowice. Er wurde am 20. November 1952 für die PZPR erstmals Mitglied des Sejm und vertrat in diesem während der ersten Legislaturperiode bis zum 20. November 1956 den Wahlkreis Nr. 53 Bytom. In der darauf folgenden zweiten Legislaturperiode vertrat er zwischen dem 20. Februar 1957 und dem 17. Februar 1961 den Wahlkreis Nr. 81 Bytom sowie schließlich in der dritten Legislaturperiode vom 15. Mai 1961 bis zum 31. März 1965 den Wahlkreis Nr. 21 Bytom. Er war in der ersten bis dritten Legislaturperiode Mitglied des Ausschusses für auswärtige Angelegenheiten sowie in der zweiten und dritten Legislaturperiode zwischen 1957 und 1965 Vorsitzender des Ausschusses für Schwerindustrie, Chemie und Bergbau und zeitgleich auch Mitglied des Präsidiums der PZPR-Fraktion.