A nemesi származású kolozsvári Kolossváry család sarja. Édesapja kolozsvári Kolossváry József (1817–1890),[1] köz- és váltóügyvéd, földbirtokos, édesanyja nedecei Nedeczky Karolina (1828-1885) volt.[2]
A bécsi művészeti akadémia elvégzése után először a 10. huszárezredben teljesített szolgálatot hadnagyi rangban, később beiratkozott a bécsi hadiiskolába. Ennek befejezése után a tarnówi 2. dandár vezérkari tisztjévé nevezték ki. Ezt követően – rövid ideig – a budapesti 2. honvéd huszárezred parancsnoka volt, majd 1903-ban vezérőrnaggyá nevezték ki. Június 27-étől november 3-áig gróf Khuen-Héderváry Károly kormányában a honvédelmi tárcát irányította. 1904-től a rzeszówi 14. lovasdandár, 1906-tól a 30. gyaloghadosztály parancsnoka, 1907-től altábornagy. 1911–1914-ben a lembergi 11. hadtest parancsnoka, 1912-től lovassági tábornok, 1913-tól a 14. huszárezred tulajdonosa volt.