Mierzący 206 cm wzrostu koszykarz studiował na Louisiana State University. Do NBA został wybrany w drafcie1954 przez Milwaukee Hawks. W organizacji tej, od 1955 działającej jako St. Louis Hawks, spędził całą karierę (1954-1965). Po pierwszym sezonie gry w NBA (uzyskał średnią 20,4 punktów na mecz i 13,8 zbiórek na mecz) został wybrany debiutantem roku. Dobra postawa nie pomogła jego drużynie, która zakończyła sezon na ostatnim miejscu w dywizji. W 1956, po uzyskaniu średnich 25,7 punktów na mecz i 16,2 zbiórek na mecz został MVP rozgrywek w pierwszej edycji tej nagrody.
W latach 1957–1961 czterokrotnie doprowadził Saint Louis Hawks do finału NBA. W 1957 Jastrzębie uległy Boston Celtics (Pettit uzyskał średnie 29,8 punktów i 16,8 zbiórek w spotkaniach finałowych). Rok później St. Louis Hawks mieli okazję do rewanżu i z niej skorzystali. Prowadzeni przez grającego fenomenalnie Pettita (w jednym z meczów finałów zdobył 50 punktów, a Hawks wygrali 110-109) pokonali swych przeciwników w stosunku meczów 4:3. Kolejne trzy lata to okres dominacji Pettita i Hawks w Konferencji Zachodniej. W 1959 ponownie został uznany MVP. W swoim statystycznie najbardziej udanym sezonie, 1961-1962 zdobywał średnio 31,8 punktów i 18,7 zbiórek na mecz.
Karierę zakończył w 1965 w związku z kontuzją kolana. Jest pierwszym graczem, który przekroczył granicę 20 000 punktów NBA - łącznie zdobył ich 20 880. W swej jedenastoletniej karierze zawodnika NBA zgromadził na swym koncie również 12 849 zbiórek i 2369 asyst. Ze średnią z całej kariery 16,2 zbiórek na mecz cały czas zajmuje trzecie miejsce w historii NBA - wyprzedzają go jedynie Wilt Chamberlain i Bill Russell. Uchodzi za zawodnika, który zrewolucjonizował sposób gry silnego skrzydłowego.
