Robertson-Swann wurde an der National Art School in Sydney ausgebildet und studierte anschließend Bildhauerei in Großbritannien bei Anthony Caro und Phillip King am Saint Martins School of Art in London. Von 1963 bis 1965 assistierte er im Atelier von Henry Moore und war Dozent an verschiedenen Kunstinstituten in London. 1968 kehrte er nach Australien zurück. Er gewann den Transfield Prize, den Comalco Invitational Sculpture Award und 1976 den Alice Prize. Er arbeitete 1978 bis 1989 im sculpture workshop der Canberra School of Art. Von 1991 bis 2006 war er Universitätsdozent und leitete die Bildhauerausbildung an der National Art School.