Został wybrany w 1970 w pierwszej rundzie draftu przez San Diego Rockets. W swoim pierwszym sezonie w NBA spędzał na parkiecie średnio ponad 10 minut, notując ok. 5 punktów i 5 zbiórek na mecz. W następnych dwóch sezonach po przenosinach zespołu do Houston, zdecydowanie poprawił swoje statystyki. W trzecim sezonie był najlepszym strzelcem drużyny (18,7 punktu na mecz) oraz najlepszym w walce na tablicach notując średnio 11,6 zbiórek w meczu. W sezonie 1974–1975, awansował z Rakietami do pierwszych play-offów w historii drużyny. W sezonie 1976–1977 zespół awansował do finału konferencji. Kolejny sezon okazał się dla Tomjanovicha bardzo pechowy. W czasie meczu z Los Angeles Lakers doszło do bijatyki, w której Rudy został uderzony w twarz, przez co pauzował przez pół sezonu. Jeszcze dziś Tomjanovich ma problemy ze słuchem, spowodowane tamtą bójką. Na parkietach spędził jeszcze trzy sezony, które nie obfitowały w sukcesy. Karierę zakończył 2 października 1981 roku, a jego numer - 45 zawisnął pod dachem hali w Houston 28 stycznia 1982. W latach 1973–1979 co rok uczestniczył w meczu gwiazd.
Kariera trenerska
Przygodę z trenerką rozpoczął w sezonie 1985-86. Był asystentem trenera Rockets. Posadę pierwszego trenera objął w trakcie sezonu 1991-92, kiedy to rozegrane były już 52 spotkania. Nie udało mu się doprowadzić zespołu do play-off. W kolejnym sezonie ta sztuka mu się udała i awansował nawet do półfinału konferencji. W kolejnym sezonie Houston Rockets wygrało aż 58 spotkań sezonu zasadniczego i zdobyło pierwsze w historii klubu Mistrzostwo ligi. Rok później udało się obronić tytuł. Nie udało się to po raz trzeci. W sezonie 1996–1997 podopieczni Tomjanovicha dotarli do finału konferencji zachodniej, w którym ulegli po wyrównanej rywalizacji Utah Jazz. Następne dwa sezony to awans do pierwszej rundy play-off. W latach 1999–2003 Rakiety nie awansowały do play-off, a Tomjanovich z powodu choroby musiał ustąpić ze stanowiska trenera.
Podsumowując, podczas dwunastu sezonów pracy w Houston doprowadził drużynę siedem razy do fazy play-off i dwa razy do tytułu Mistrzów NBA. Ekipa wygrała 56% spotkań.
W 2004 roku został szkoleniowcem Los Angeles Lakers. Obecnie jest na trenerskiej emeryturze.