Urodzony w rodzinie nauczycielskiej. W ruchu rewolucyjnym od 1903. Jako nastolatek kilka lat mieszkał w Tyflisie, pracując jako dziennikarz (o pseudonimie Bandor), został skazany na 5 lat więzienia za działalność antyrządową.
Przez krótki okres w lutym 1917 dowodził w Moskwie Wojennym Dowództwem PatrolowymCzerwonej Gwardii. Członek Socjaldemokratycznej Partii Robotniczej Rosji od 1918. Kolejną rekonwalescencję przechodził na początku 1918 w Samarkandzie, gdzie utworzył komunistyczny oddział robotniczy. Jego oddział został rozbity, wycofał się przez teren Kazachstanu i Ural do Samary. Po wybuchu rewolucji październikowej dołączył do bolszewików, zostając dowódcą oddziału kawalerii walczącego z Kozakami orenburskimi atamana Dutowa i Legionem Czeskim. Był dowódcą 24 Dywizji Strzelców, która 12 września 1918 zdobyłaSymbirsk, za co otrzymała przydomek „Symbirska” (później „Symbirsko-Samarska”).
Od grudnia 1918 do czerwca 1919 dowódca 1 Armii Frontu Wschodniego, biorąc m.in. udział w zwycięskiej dla czerwonych operacji bielebiejskiej[1].
W czasie wojny polsko-bolszewickiej dowodził 3. Korpusem Kawalerii (od lipca 1920 – II Korpusem Kawalerii), zwanym Kawkorem, na Froncie Zachodnim Michaiła Tuchaczewskiego. Początkowo odnosił sukcesy podczas drugiej ofensywy Tuchaczewskiego. Udaremnił próby stabilizacji frontu i dotarł aż nad dolną Wisłę. Po Bitwie Warszawskiej osłaniał odwrót czerwonej 4. Armii do Prus Wschodnich. Podczas odwrotu trzykrotnie przebijał się przez pierścień polskiego okrążenia, ale pod Kolnem został zmuszony do przekroczenia granicy Prus Wschodnich, gdzie korpus został internowany, a sam Gaj uwięziony przez Niemców w obozie w Salzwedel koło Berlina. Dowodzone przez niego oddziały oskarżane są o to, że w czasie odwrotu zamordowały około 1000 polskich jeńców[4]. Licznych mordów, gwałtów i rabunków dopuściły się także podczas walk o Płock[5].
Znaczek poczty Armenii wydany z okazji 125. rocznicy urodzin Gaja Gaja z 2012
W 1922 Gaj został ludowym komisarzem armii i marynarki Armeńskiej SRR, potem wykładowcą i pracownikiem naukowym.
Napisał książki pt. Na Warszawę! Działania 3 Konnego Korpusu na Froncie Zachodnim, wyd. 1928; W walkach o Symbirsk, wyd. 1928; Pierwsze uderzenie w Kołczaka, wyd. 1928[6].
W latach 1929–1933 był pracownikiem naukowym Akademii Wojskowej im. Michaiła Frunzego. W latach 1933–1935 pracował jako profesor i kierownik katedry historii wojen i sztuki wojennej w Wojskowej Akademii Lotniczej im. Nikołaja E. Żukowskiego.
W czerwcu 1935 usunięty ze wszystkich pełnionych stanowisk, zwolniony z Armii Czerwonej i wydalony z WKP(b). Został aresztowany przez NKWD i oskarżony o „utworzenie faszystowskiej organizacji wojskowej w Armii Czerwonej”. Otrzymał wyrok 5 lat więzienia. 11 grudnia 1937 został stracony[7].
Pośmiertna rehabilitacja prawna
Na fali zainicjowanej przez Nikitę Chruszczowadestalinizacji, został 21 stycznia 1956 pośmiertnie zrehabilitowany przez Kolegium Wojskowego Sądu Najwyższego ZSRR[6][8].
Marszałek Siemion Budionny przyznał po latach, że Stalin popełnił błąd każąc pozbyć się Gaja Gaja[8].
Ordery i odznaczenia
Radziecki znaczek pocztowy z jego podobizną z 1967
W 1967, z okazji 80. rocznicy urodzin Gaja Gaja, poczta ZSRR wydała znaczek z jego podobizną. W 1978 na jego cześć nazwano wieś w Armeńskiej SRR.
Pamięć o nim szczególnie kultywowana jest w Armenii, gdzie jest uznawany za bohatera narodowego[8]. W stolicy kraju, Erywaniu, znajduje się konny pomnik wojskowego, na jego cześć nazwana jest także ulica. W 2012 poczta armeńska wydała znaczek z jego podobizną z okazji 125. rocznicy urodzin. Na obszarze byłego Związku Radzieckiego znajduje się jeszcze kilka różnych pomników i popiersi Gaja Gaja. Jego imię nosi wiele ulic w Armenii, Rosji i na Białorusi[8].
