Po znakomitej karierze uczelnianej, na University of Virginia, ukoronowanej trzykrotnym zdobyciem tytułu Gracza Roku (jako jeden z trójki koszykarzy w historii), Sampson został wybrany z nr 1. draftu 1983 przez Houston Rockets. Spełniając pokładane w nim nadzieje, spisywał się znakomicie także w NBA. Po pierwszym sezonie został uhonorowany tytułem NBA Rookie of the Year i wyborem do drużyny Zachodu w Meczu Gwiazd. Od następnego sezonu, kiedy do drużyny z Houston dołączył drugi olbrzym, Hakeem Olajuwon, Rockets osiągnęli szczytową formę. Prowadzeni przez „Twin Towers” znacznie poprawili bilans i zagrali w fazie play-off. Sampson i Olajuwon zagrali w Meczu Gwiazd, a Sampson zdobył tytuł MVP All-Star Game. W kolejnym sezonie Ralph doprowadził drużynę do finału ligi, zwyciężając w finale Konferencji Los Angeles Lakers. W finale ligi Sampson spisał się słabiej, zaliczając m.in. bolesny upadek i usunięcie z boiska w 5. meczu, a Rockets przegrali 2-4 z Boston Celtics.
Od tej chwili kariera Ralpha Sampsona zaczęła błyskawicznie zmierzać ku końcowi. Powtarzające się kłopoty z kolanami spowodowały, że w 1987 został sprzedany do Golden State Warriors, stamtąd po 2 latach trafił do Sacramento Kings, a ostatecznie skończył grę w NBA po zaledwie 10 meczach w barwach Washington Bullets w sezonie 1991-92. Ostatnie występy zanotował w barwach klubu Unicaja Ronda w Hiszpanii.
