W 1948 ukończył matematykę w Caltech (California Institute of Technology), w 1951 zdobył stopień doktorski z matematyki w Princeton University. Pracował naukowo w Princeton, Stanford i Dartmouth. W latach 60. współtworzył Project MAC w MIT, jednak w 1962 r. opuścił instytut i przeniósł się do Stanford University, gdzie otrzymał profesurę i był współtwórcą Stanford AI Laboratory - przez wiele lat przyjaznego rywala Project MAC. 1 stycznia 2001 r. przeszedł na emeryturę.
John McCarthy do ostatnich lat życia był aktywnym komentatorem wydarzeń, szczególnie problemów globalnych, przedstawiając je z pozycji prawicowych.