1967-ben született az ausztrál William Sewell és a walesi művész- és pincérnő Jo Sewell fiaként.[6][7] Szülei elváltak, mikor ötéves volt. Egy testvére van, Caspar. Rufus tízéves volt, amikor a testvérek elveszítették édesapjukat. Saját bevallása szerint problémás kamasz volt.[8] Iskolai drámatanára küldte el őt egy színiiskola meghallgatásra.
Első házassága az ausztrál divat-újságírónővel, Jasmine Abdullahhal csupán néhány hónapig tartott. Második feleségétől, Amy Gardner producertől egy fia született.[9]