Az Orosz Birodalomban, akkor a Vilnai kormányzósághoz (ma Fehéroroszországhoz) tartozó Vicebszktől nyugatra 160 km-re fekvő Hlibokaje nevű kis faluban született. Gimnáziumi tanulmányait 1905-től 1914-ig végezte Homelben. 1915-ben kezdte el egyetemi tanulmányait a Moszkvai Műszaki Főiskolán (ma: Bauman Műszaki Egyetem). 1916-ban behívták katonának a cári hadseregbe. Részt vett az első világháborúban. Megromlott egészségi állapota miatt 1920-ban leszerelt a hadseregből, majd visszament a Moszkvai Műszaki Főiskolára, ahol 1925-ben fejezte be tanulmányait. Diplomamunkáját Andrej Tupoljevnél írta.
Andrej Tupoljev mellett
1925-től a Központi Aero- és Hidrodinamikai Intézetben (CAGI), a Tupoljev által vezetett tervező-csoportban, majd az ebből létrejött kísérleti üzemben dolgozott, kezdetben tervező mérnökként. 1926–1927 között főkonstruktőrként ő irányította az ANT–5 (más jelzéssel I–4) vadászrepülőgép tervezését. Ebben az időszakban Tupoljev mellett részt vett az akkor a szovjet repülőgépgyártásban újdonságnak számító fémépítésű gépek tervezésében. A Tupoljev-tervezőiroda gépei közül Szuhoj irányításával tervezték az ANT–25, az ANT–31 (I–14) és az ANT–37 gépeket. 1936-tól a CAGI-ból kivált, Tupoljev irányítása alatt működő 156. sz. repülőgépgyár és tervezőiroda munkatársa volt. 1938-tól őt nevezték ki a tervező részleg vezetőjévé és a főkonstruktőr helyettesévé.
Önálló tervezőiroda élén
1938 decemberében saját vezetése alatt új tervezőirodát hozott létre, amely a harkovi repülőgépgyár mellett működött. A harkovi (ma: Harkiv) helyszínt azonban nem találta megfelelőnek, mert periférikus fekvése miatt távol volt a szovjet műszaki–tudományos élet fő központjaitól. Ezért 1940-ben a tervezőiroda visszaköltözött egy Moszkva környéki repülőtérre. Szuhoj első önálló repülőgépe az 1940-ben megépített Szu–1 (I–330) magassági vadászrepülőgép volt, amely azonban csak prototípus szintjén maradt. 1941-ben kezdődhetett meg a Szu–2 könnyű bombázó sorozatgyártása, melynek tervezését Szuhoj még a Tupoljev-tervezőirodában kezdte el 1937-ben ANT–51 (BB–1) típusjelzés alatt.
A második világháború idején, 1942-ben, a front közeledése miatt Szuhoj tervezőirodáját a Moszkvai területről Novoszibirszkbe evakuálták. Szuhoj novoszibirszki időszakában továbbfejlesztette a Szu–1-et, az új gép Szu–3 típusjelet kapott, de ennek a sorozatgyártására sem került sor. Ugyancsak prototípus szintjén maradt a Szu–8 (DDBS) csatarepülőgép és a Szu–5 kombinált hajtású vadászrepülőgép.
1942–1943-ban tervezték és építették meg a Szu–6 csatarepülőgépet, amely azonban csak három prototípus készült el. A gépért Szuhoj ugyan 1943-ban Sztálin-díjat kapott, maga Sztálin azonban a Szuhoj-gép ellenében az Il–2 csatarepülőgépet támogatta, így annak a tömeges sorozatgyártására került sor.
A második világháborút követő időszak
A második világháború után Szuhoj a tervezőirodájával visszaköltözött Moszkvába. A háború után a Szovjetunióban az elsők között kezdett el foglalkozni a sugárhajtású repülőgépekkel. Ebben az időszakban építették meg a Szu–9, a Szu–11 és a Szu–15 vadászrepülőgépeket, melyek sorozatgyártására azonban nem került sor. A Szu–15 1949-es katasztrófáját követően feloszlatták Szuhoj tervezőirodáját és beolvasztották a Tupoljev-tervezőirodába (OKB–156), Pavel Szuhoj pedig Tupoljev helyettese lett. Csak Sztálin halála után, 1953-ban önállósulhatott ismét az előbb OKB–1, majd 1954-től OKB–51 jelzést kapott tervezőiroda, melynek Szuhoj 1953-tól a főkonstruktőre, 1956-tól pedig vezetője is volt.
1953 után Szuhoj folytatta a sugárhajtású vadászrepülőgépek tervezését. Az ezt követő, Szuhoj számára legsikeresebb időszak eredményei voltak – több kísérleti gép mellett – a nagy sorozatban gyártott vadász- és vadászbombázó repülőgépek. A sorozat első gépe a Szu–7 vadászbombázó volt. Ezt követték a Szu–17 vadászbombázó repülőgép (és különféle változatai, a Szu–20 és Szu–22), a Szu–9, Szu–11 és Szu–15 elfogó vadászrepülőgépek. Utolsó repülőgépei az 1970-es évek elején kifejlesztett Szu–24 frontbombázó és a Szu–25 csatarepülőgép. A Szu–27-es vadászrepülőgép kísérleteihez szolgáló első prototípus, a T–10 tervezési munkálataiban még részt vett, de a gép első repülését már nem érte meg. 1975-ben Moszkvában elhunyt. A nevét viselő tervezőiroda napjainkig megtartotta a repülőgépeihez használt, Szuhoj vezetéknevéből eredő Szu típusjelzést.
Emlékezete
Szuhoj nevét viseli Moszkva egyik utcája, valamint az ő nevét vette fel a Homeli Állami Műszaki Egyetem. 1985-től Hlibokaje 1. sz. iskolájában Szuhoj-emlékmúzeum működik.