Ivanovs naît dans le village Babru sādža près de Preiļi dans la Latgalie.
Lors de la Première guerre mondiale, la famille s'exile à Vitebsk et à Smolensk. Le garçon apprend à jouer du piano alors qu'il a douze ans. La famille rentre en Lettonie en 1920. Il étudie au Conservatoire de musique de 1924 à 1931.
À partir de 1931, il travaille comme chef d'orchestre symphonique à la compagnie de radiodiffusion publique de Lettonie.
Du temps de l'occupation de la Lettonie par l'Union soviétique, Jānis Ivanovs est membre du conseil des compositeurs de la RSS de Lettonie, et en 1950-1951, son président. Il est aussi le député du Soviet suprême de l'Union soviétique en 1950-1958. Il est récompensé par un prix Staline en 1950, pour la Syphonie nº 6 Latgalian (1949).