Ha ottenuto dal City College of New York il B. Sc. nel 1949 e dalla Yale University il M.A. nel 1949 e il Ph.D. nel 1951, con una dissertazione dal titolo Linear Elliptic Differential Operators con la supervisione di Nelson Dunford.
Schwartz ha iniziato la sua attività professionale come istruttore di matematica a Yale e nel 1953 diventato assistant professor. Nel 1957 si è trasferito alla New York University (NYU) come associate professor e nel 1958 ha ottenuto la nomina a professore di computer science al Courant Institute of Mathematical Sciences della New York University.
Le onorificenze da lui ottenuto includono: Sloane Fellow; Wilbur Cross Medal della Yale University; Townsend Harris Medal della City University di New York; Steele Prize della American Mathematical Society; Mayor's Medal per contributi alla scienza e alla tecnologia da New York City.