Carl Rudolf Walther vom Rath est le deuxième des trois fils et troisième des cinq enfants de l'homme d'affaires Wilhelm von Rath et de son épouse, sa cousine Henriette vom Rath. Walther est aussi le neveu de Carl et d'Adolph vom Rath(de), les frères de sa mère. Sa famille s'installe à Cologne en 1872.
Vom Rath suit d'abord des cours privés à Amsterdam avec ses frères et sœurs, puis entre au lycée Frédéric-Guillaume de Cologne(de) en 1872, où il passe son baccalauréat en juillet 1874.
Après plusieurs mois d'un emploi commercial dans l'entreprise de son père Deichmann et vom Rath à Amsterdam, il commence des études de droit à Bonn, où il rejoint le Corps Palatia Bonn[1] devient greffier en 1879 puis assesseur à la cour de Berlin.
Le , il épouse à Francfort-sur-le-Main Maximiliane Meister, avec qui il aura un fils et trois filles.
Après avoir été plusieurs années au bureau du procureur de Francfort, il démissionne en 1890 pour remplacer son beau-père Wilhelm Meister(de) au conseil de surveillance de la société Hoechst dont il reprend la présidence après la démission du cofondateur Eugen Lucius(de) en 1902.
En 1925, l'entreprise se réunit avec sept autres entreprises pour créer IG Farben. Vom Rath est élu vice-président du conseil de surveillance de la nouvelle société. Il siège aussi au conseil d'administration de plusieurs autres sociétés.