Joel Shapiro naît en 1941 à New York[1]. Il commence ses études en arts visuels à l'Université de New York en 1964[2].
De 1965 à 1967, il travaille avec le Corps de la Paix en Inde[3]. C'est là qu'il voit de nombreux exemples de sculpture indienne, ce qui l'incite à prendre la décision de devenir artiste[3]. En 1967, il épouse Amy Snider, une éducatrice en art, avec qui il a une fille, Ivy, en 1969; le couple se sépare en 1972[3].
Vivant et travaillant à New York, Joel Shapiro commence en 1970 avec de petits travaux composés de feuilles de 1,5 centimètre de matériaux de construction tels que le béton, la terre, le bois et l'aluminium placés sur des étagères[2].