Small wurde an der Columbia University promoviert und war Kurator am Herbarium der Columbia University (ab 1898 erster Kurator der Museen des New York Botanical Garden), 1906 bis 1932 als Hauptkonservator. Er kam 1901 erstmals nach Florida und erforschte dessen Flora und Fauna, wobei er auch zahlreiche Fotografien anfertigte. In seiner Arbeit in Florida wurde er durch den Mäzen Charles Deering unterstützt.
In seinem Buch From Eden to Sahara: Floridas Tragedy beschrieb er die Zerstörung der Natur in Florida.
Von ihm stammen viele Erstbeschreibungen neuer Arten und Unterarten, unter anderem von Opuntia austrina und Pityopus. Ihm wird auch die Rettung der wilden Louisiana-Iris vor dem Aussterben zugeschrieben. Small verbreitete Samen und Exemplare tausender Pflanzen aus der ganzen Welt aus Sümpfen, die von Trockenlegung bedroht waren, an neue Standplätze.
