Bay schloss in Basel, Berlin, Greifswald und Heidelberg ein Theologiestudium ab. Von 1891 bis 1897 war er Pfarrer in Diegten-Eptingen. Als freisinnigerRegierungsrat war er von 1897 bis 1931 tätig. Er war für das Amt Erziehung und Kirchen verantwortlich. Für das Schulgesetz von 1911 und die Schaffung einer Schülerunfall- und Schulhaushaftpflichtversicherung im Jahr 1924 war er verantwortlich.