Гомељски је своју тренерску каријеру започео у екипи ЛГС Спартак из Лењинграда. Године 1953, постаје тренер КК АСК Риге, армијског клуба и са њим освојио 3 титула првака Совјетског Савеза и три титуле за редом у Европском купу од 1958 до 1960. Године 1969. постављен је за тренера московскогЦСКА и на тој позицији је био до 1980. године, освојивши 10 титула Совјетског Савеза (1970–1974, 1976–1980), 2 купа СССР (1972—1973) и Куп европских шампиона 1971 а играо је и два пута у финалу овог такмичења 1970 и 1973. године.
У својим позним годинама, био је председник кошаркашког клуба ЦСКА. Године 1995. постао је члан Кошаркашке Куће славних, а 2007 и члан Куће славних ФИБЕ. Награда за најбољег тренера Евролиге у сезони носи његово име, као и хала у којој игра ЦСКА Москва.
