Závodímu plavání se začal věnovat v 10 letech zařazením do sportovní plavecké třídy na základní škole. V roce 1977 v jeho rodné Příbrami otevřeli nový sportovní komplex s 25 m krytým bazénem. Připravoval se pod vedením Jaroslava Maška v tréninkovém středisku mládeže (TSM). Specializoval se na plaveckou techniku kraul.[1]
V srpnu 1981 se poprvé účastnil větší sportovní akce mladých sportovců ze socialistických zemíDružba v sovětském Volgogradu, ale teprve ve svých 16 letech se dostal na podzim 1983 do Prahy do střediska vrcholového sportu ministerstva vnitra k trenéru Davidu Holému. Mezi československou plaveckou špičku pronikal skokově. Po náhlém zlepšení, nastala stejně náhle stagnace. Z Příbrami si přinesl některé technické návyky, které mu bránily v rychlejších časech. Jednalo si hlavně o techniku kraulového záběru.[2] Rezervy v technice doháněl vůlí, učenlivostí a značným fyzickým fondem.[3]
V roce 1985 se v březnu na mezistátním trojutkání v Brně dostal poprvé na 100 m volný způsob pod 53 vteřin. Plaval první úsek štafety 4×100 m za 52,83.[4] V červnu na velké ceně Slovenska svůj osobní rekord na 100 m volný způsob zlepšil na 52,61[5] a figuroval v předběžné nominaci na srpnové mistrovství Evropy v bulharské Sofii.[6] Jeho start byl podmíněn rozšířením výpravy o štafety. V červenci absolvoval třítýdenní soustředění ve francouzském vysokohorském středisku Font-Romeu-Odeillo-Via. Z Francie si domů přivezl podvrtnutý kotník z fotbálku,[7] který mu však přinesl štěstí v podobě schválení nominace na mistrovství Evropy.[8] Při svém úvodním startu na 200 m volný způsob zaplaval osobní rekord 1:54,66 a obsadil 20. místo.[9] Závod na 100 m volný způsob se mu však nepovedl. Čas nad 53 sekund (53,09) stačil na 26. místo. V sprintérské štafetě 4×100 m plaval v rozplavbách první úsek a opět hranici 53 sekund nepokořil. Jeho týmový kolegové však ztrátu dohnali a štafeta postoupila do odpoledního finále. V průběhu odpolední pauzy měla štafetou proběhnout sázka, že pokud Kolář nezaplave stovku pod 53 vteřin, půjde dohola. Z taktického důvodu trenéři ponechali složení štafety stejné – na prvním úseku se nejslabší článek štafety má šanci s ostatními vyvézt a je snazší ztrátu na konci stahovat. Při startu finále působil nervózně a napoprvé start ulil, spadnul do vody. Petr Kladiva mu k bazénu přinesl župan, aby se usušil a zůstal v teple. Josef Hladký mezitím utíral mokrý blok.[10] Štafeta byla dobře naladěna k nečekanému výsledku. Druhý start proběhl bez problémů a po prvním úseku předával sice poslední, ale v čase 52,94 – vlasy zachránil. Marcel Géry na posledním úseku vytáhl štafetu na konečné 5. místo v čase nového československého rekordu 3:24,91.[11]
Na podzim 1985 nastoupil základní vojenskou službu a kvůli slabší přípravě v zimní sezóně stagnoval.[12] Na jarních soustředěních dělal dvorního sparingpartnera reprezentační hvězdě Marcelu Gérymu.[13] Na červnové velké ceně Slovenska se poprvé na 200 m volný způsob dostal pod 114 vteřin časem 1:53,76 a[14] za týden na letním mistrovství republiky zlepšil svůj osobní rekord na 100 m volný způsob na 52,50.[15] I když v individuálních disciplínách nemohl pomýšlet na postup mezi top16, tak reprezentační trenér Jan Vokatý sázel na štafetu a nominaci na srpnové mistrovství světa v Madridu měl po letní mistrovství republiky v kapse.[16] V červenci odjel na reprezentační soustředění do Font-Romeu-Odeillo-Via.[17] V Madridu plaval na úvod 200 volný způsob za 1:54,09 a obsadil 31. místo.[18] Závod na 100 m volný způsob se mu nepovedl, čas nad 53 sekund (53,16) stačil na 42. místo. Stovka se nepovedla ani Petru Kladivovi – čas nad 52 sekund (52,10). Oba se po závodě shodli, že ve štafetě to musí být lepší.[19] Své předsevzetí potvrdil za dva dny, když zaplaval v rozplavbách první úsek pod 53 vteřin za 52,74. Josef Hladký odvedl maximum na druhém úseku, ale Petr Kladiva na třetím úseku ztratil a Marcel Géry uměl stovku letmo také o půl vteřinu rychleji. Štafeta skončila celkově na 10. místě v čase 3:24,97.[20]
Návrat z mistrovství světa nedopadlo pro československé plavání dobře. Josef Hladký měl pocit, že na mistrovství světa zklamal a ve Španělsku nelegálně zůstal. Jeho rozhodnutí ovlivnilo budoucnost plaveckého klubu TJ Rudá hvězda Praha (RHP). Prominentní klub, který dal československému plavání řadu osobností, v průběhu jednoho roku prakticky skončil ve vrcholovém plavání. V roce 1987 bylo střediska vrcholového sportu (SVS) převeleno k TJ Rudá hvězda Brno (Kometa). Pro Koláře tato zpráva znamenala závodit za jiný pražský klub nebo se přestěhovat do Brna. Pražští Vysokoškoláci pro něho neměli v olympijském roce 1988 volnou tabulku v SVS a nakonec v olympijském roce závodil za pražský klub TJ Bohemians.
Od roku 1989 plaval za pražské Vysokoškoláky, ale v středisku se udržel kvůli slabé výkonnosti pouze jeden rok. Později se zkusil přeorientovat na dálkového plavce, ale do užšího výběru reprezentace se nedostal.
