Pevsner var fødd i småbyen Klimavitsy i Kviterussland. Frå 1902 til 1910 var han elev ved kunstskulen i Kiev og deretter St. Petersburgs kunstakademi. Mellom 1911 og 1913 budde han i Paris, der han vart kjend med Alexander Archipenko og Amedeo Modigliani og byrja med abstrakt måleri. År 1915-16 budde han i Oslo, derifrå drog han vidare til Moskva. Frå 1917 underviste han ved kunstakademiet i Moskva.
Saman med broren offentleggjorde han i 1920 i Moskva det realistiske manifest. Dei tok i bruk i nye materialar til skulpturane sine, og tok i bruk matematikk i utforminga av verka. I 1923 reiste Pevsner tilbake til Paris. Nokre år seinare danna han, saman med Theo van Doesburg, Naum Gabo, Auguste Herbin og Georges Vantongerloo kunstrørsla Abstraction-Création i Paris.
I 1946 deltok Pevsner i utstillinga Konkret Kunst i Galerie René Drouin i Paris, saman med Sonia Delaunay-Terk, Vasilij Kandinskij, Alberto Magnelli og Herbin. Pevsner deltok også ved utstillingane documenta I i 1955 og documenta II i 1959, begge i Kassel i Tyskland.
