Paul Rudolph fick sin utbildning vid Alabama Polytechnic Institute under slutet av 1930-talet. Därefter fortsatte han vid Harvard Graduate School of Design där han bland andra hade Walter Gropius som professor. Efter arkitektexamen där 1947 började han arbeta vid ett kontor i Florida innan han 1951 startade ett eget arkitektkontor .
Under 1950-talet kom Rudolph att få ett antal uppdrag i Florida. Majoriteten av dessa projekt handlade om villor och mindre hus som karakteriserades av enkla betongkonstruktioner med stora ljusinsläpp och öppna planlösningar. År 1958 blev han uppmärksammad i en bok om amerikansk samtidsarkitektur och fick kort därefter anställning som dekanus vid Yale School of Architecture i New Haven. Samtidigt fick han också uppdraget att rita skolans nya huvudbyggnad, vilket skulle komma att bli hans mest berömda verk. Byggnaden, som är utförd i brutalistisk stil, definierade också den arkitektur som hädanefter kom att förknippas med Rudolph, med kubistisk modulgeometri, labyrintisk planlösning och många nivåhöjder i en Raumplanliknande konfiguration. Därefter fick han ett antal liknande uppdrag för universitet och federala institutioner runt om i USA.
I slutet av 1970-talet blev den brutalistiska arkitekturen i USA i mångt och mycket utkonkurrerad av postmodernistiska ideal. Rudolph fortsatte dock med sin distinkta stil utanför USA, bland annat i Hongkong och Singapore där han bland annat ritade ett antal kontorsbyggnader.