Seu nome original era Hu Hóngxīng (胡洪騂) e, como outros chineses da sua geração, utilizou também um nome de cortesia (zì), Shìzhī (適之). Atualmente, seu nome aparece de maneira habitual em livros e publicações ocidentais na transcrição hanyu piyin "Hu Shi". Contudo, ele utilizou sempre a transcrição Wade-Giles do seu nome chinês, "Hu Shih", nos seus contatos com estrangeiros.
Infância e juventude
Natural da localidade de Jixi na província de Anhui, seu pai, funcionário público local, faleceu quando o pequeno Hu Shih tinha três anos de idade. Após assistir à escola da sua povoação, foi estudar a Shanghai em 1904. Esse mesmo ano, sua família concertou seu futuro matrimônio com Jiāng Dōngxiu (江冬秀), com a que casaria em 1917.
Estudante brilhante, foi um dos poucos chineses da sua geração em obter uma das becas concedidas a estudantes chineses pelos Estados Unidos; Hu Shih ingressou na Universidade Cornell em 1910, onde se graduou em 1914, após o qual continuou seus estudos na Universidade Colúmbia, onde leu a tese doutoral em 1917 sob a direção do prestigioso filósofo estadunidense John Dewey.
Movimento da Nova Cultura
Ao voltar à China, Hu obteve um emprego como professor na Universidade de Pequim e implicou-se no movimento reformista representado pela revista Nova Juventude, editada por Chen Duxiu. Nessa revista, Hu publicou algumas das suas contribuições mais importantes à reforma da língua literária chinesa, como o seu famoso artigo "Minha humilde opinião sobre a reforma da literatura", publicado em Janeiro de 1917, quando Hu se encontrava nos Estados Unidos. Nesse artigo, Hu advogava por adotar modelos narrativos ocidentais e por usar a língua vernácula falada como língua literária, em lugar do chinês literário de estilo clássico que se utilizava até então. Outro artigo seu publicado em Nova Juventude em Abril de 1918, "Sobre uma revolução literária construtiva", ampliava estas reflexões sobre a necessidade de uma reforma literária, ideias que outros colaboradores da revista, como Lu Xun e o próprio Chen Duxiu, acolheram com entusiasmo.
Além de escrever ensaios sobre literatura, Hu escreveu também poesia e teatro, adotando o estilo ocidental que defendia. Sua coleção de poemas mais importante, "Experimentos", publicada em 1920, constituiu uma das primeiras tentativas de escrever poesia em língua vernácula, embora ainda se notasse uma forte influência da língua clássica. Em teatro, escreveu a obra "O acontecimento de toda uma vida", de estilo ocidental, que se publicou em Nova Juventude em 1919 e seria representada esse ano e de novo em 1923.
Ruptura com Chen Duxiu
A diferença de Chen Duxiu e outros intelectuais reformistas, Hu Shih recusou as ideologias revolucionárias como o marxismo, e afastou-se de Chen Duxiu e de Nova Juventude a partir de 1920, quando Chen Duxiu e a sua revista adotaram uma linha marxista que levaria a fundação do Partido Comunista Chinês com Chen Duxiu como primeiro presidente e secretário geral.
Cargos públicos na República da China
Hu Shih continuaria a lecionar na Universidade de Pequim e tornar-se-ia um dos intelectuais de maior prestígio na República da China. Em 1938, foi nomeado embaixador da China nos Estados Unidos, onde buscou apoios econômicos e políticos para a república chinesa que lutava para sobreviver à invasão japonesa.
Em 1946, após a derrota japonesa, assumiu o cargo de chanceler da Universidade de Pequim. No fim de 1948, frente ao avanço comunista na guerra civil, abandonou a cidade para finalmente refugiar-se na ilha de Taiwan junto ao governo nacionalista de Chiang Kai-shek.
Enquanto na China continental foi acusado de escritor "reacionário" e teve denegridas sua obra e sua relevância histórica, em Taiwan Hu Shih gozou de enorme prestígio como intelectual e defensor do regime republicano. A partir de 1958, foi presidente da Academia Sinica, a academia de pesquisa científica da República da China.