Józef Toliński entre dans l'armée autrichienne en 1780[1]. Sous-lieutenant en 1782, lieutenant deux ans plus tard, il combat les Turcs en 1789 et 1790 et devient capitaine cette même année[1].
Nommé général de brigade du duché de Varsovie le [1], il prend le commandement de la 2e brigade de la 7e division de cavalerie légère du 4e corps de cavalerie du général François-Étienne Kellermann[2]. Il est grièvement blessé à la bataille de Leipzig[2]. Commandant d'une brigade de cavalerie polonaise au service de la France le , il refuse de prendre le commandement d'une des brigades de la division polonaise du général Louis Michel Pac[1].
Fait général de brigade dans l'armée française le [1],[2], il combat à Arcis-sur-Aube[2] (20 mars).
Après avoir démissionné du service français en , à la suite de l'abdication de Napoléon, il regagne la Pologne et intègre l'armée du royaume du Congrès[1], dont il devient le chef d'état-major général le [1].