Smith nacque nel 1912 a South Orange, nel New Jersey, da una famiglia che lavorava in un'azienda operante nel settore idraulico fondata dal nonno. Quando era molto giovane, Tony contrasse una tubercolosi che perdurò per alcuni anni;[1] nel tentativo di aiutare il figlio malato, i suoi genitori decisero di costruire una dépendance nel cortile di casa e assunsero un'infermiera a tempo pieno. Durante la sua infanzia, egli studiò da privatista e frequentò sporadicamente la Sacred Heart Elementary School di Newark. In questi anni, Smith si divertiva a creare delle costruzioni in cartone utilizzando le scatole dei suoi medicinali e visitava regolarmente la fabbrica di famiglia di cui ammirava i macchinari.[1]
Smith studiò alla St. Francis Xavier High School, una scuola superiore gesuita di New York.[1] Nella primavera e nell'estate del 1931, frequentò la Fordham University. Durante l'autunno dello stesso anno, si iscrisse all'università di Georgetown, ma interruppe i corsi dopo pochi mesi giudicando troppo formale il suo tipo di istruzione.[1] Nel 1932, Smith aprì un negozio di libri usati a Broad Street, a Newark,[1] mentre dal 1934 al 1936 lavorò nella fabbrica di famiglia. Affinò intanto la sua tecnica disegnativa e pittorica frequentando i corsi serali tenuti all'Art Students League di New York insieme a George Bridgman, George Grosz e Vaclav Vytlacil.[1] Nel 1937, Smith si trasferì a Chicago per studiare architettura al New Bauhaus e, durante l'anno seguente, lavorò in qualità di assistente carpentiere e muratore all'Ardmore Project di Frank Lloyd Wright. Dopo aver trascorso un breve periodo con Wright al Taliesin, nelle vicinanze di Spring Green, Smith lavorò alla costruzione della casa Armstrong di Ogden Dunes, nell'Indiana.
Anni 1940-1950
Nel 1940, anno in cui sua madre si ammalò gravemente e il padre morì, Smith iniziò una carriera di designer destinata a perdurare fino ai primi anni 1960 e durante la quale concepì vari edifici, molti dei quali non realizzati, fra cui una chiesa cattolica con dipinti su vetro di Jackson Pollock (1950).[2] In questi anni, Smith ricevette commissioni da parte di artisti come Fritz Bultman, Theodoros Stamos, Fred Olsen e Betty Parsons.[1][3][4] Dopo aver vissuto per due anni a Hollywood durante la metà degli anni 1940, Smith tornò sulla East Coast dove lavorò come insegnante d'arte, realizzò dipinti astratti e maturò una personale visione dell'arte. Divenne anche una delle personalità di punta della scuola d'arte nuovaiorchese insieme a Gerald Kamrowski, Jackson Pollock, Barnett Newman e Mark Rothko. Dal 1953 al 1955, Smith visse in Germania e fece tappa in diverse località europee insieme alla moglie. Smith tenne anche lezioni di architettura e design presso il Delahanty Institute (1956-1957), al Pratt Institute (1957-1959) e al Bennington College (1958-1961).[5]