Serra urodził się w San Francisco w Kalifornii jako syn Tony'ego i Gladys Serra – drugiego z trzech synów. Jego ojciec był Hiszpanem z Majorki, a matka Rosjanką mieszkającą w Odessie[2]. Kształcił się na Uniwersytecie Kalifornijskim w Berkeley i w Santa Barbara (1957–1961), gdzie uzyskał tytuł BA w dziedzinie literatury, następnie studiował malarstwo na Uniwersytecie Yale (1961–1964)[3]. Podczas studiów współpracował z Josefem Albersem przy jego publikacji Interaction of Color[3]. W połowie lat 60. XX w. uzyskał stypendium na podróż do Paryża, gdzie wielokrotnie odwiedzał zrekonstruowaną pracownię Constantina Brâncuși w Musée National d’Art Moderne, następnie wyjechał dzięki stypendium Fulbrighta do Florencji[3]. Jego pierwsza wystawa indywidualna odbyła się w 1966 roku w Rzymie[3].
W 1966 roku osiadł w Nowym Jorku, gdzie do jego kręgu przyjaciół należeli Carl Andre, Walter De Maria, Eva Hesse, Sol LeWitt i Robert Smithson[3]. Tego samego roku przy tworzeniu rzeźb zaczął wykorzystywać nietypowe materiały, takie jak włókno szklane, czy kauczuk[3]. W 1968 roku zaczął prezentować prace u Leo Castelliego[4]. Pod koniec lat 60. stworzył m.in. cykl Splash, w którym rozpryskiwał stopiony ołów w szpary i przestrzenie między podłogą a ścianą, czy cykl Prop, w którym poszczególne elementy rzeźb nie zostały zespawane czy przyczepione, a jedynie balansowały dzięki swemu ciężarowi i sile grawitacji[3]. W tym samym czasie zaczął tworzyć także krótkie filmy, a na początku lat 70. eksperymentował z wideo[3]. W 1970 roku wspierał Roberta Smithsona przy tworzeniu Spiralnej grobli, choć sam preferował działania w przestrzeniach zurbanizowanych[3].