Nach dem Verlassen der Armee gründete er 1919 eine Anwaltskanzlei in Detroit. Bald darauf wurde er Chefassistent des Staatsanwalts für den östlichen Distrikt von Michigan. Von 1923 bis 1930 war er Richter am Stadtgericht von Detroit. Der Gebäudekomplex wurde ihm zu Ehren später in „Frank Murphy Hall of Justice“ benannt und ist heute Teil des Dritten Bezirksgerichts von Detroit.
Bürgermeister von Detroit und Generalgouverneur der Philippinen
Im Jahr 1936 wurde Murphy gegen den republikanischen Amtsinhaber Frank Fitzgerald zum neuen Gouverneur von Michigan gewählt. Murphy trat seine zweijährige Amtszeit am 1. Januar 1937 an. In seiner Regierungszeit wurde ein neues Arbeitslosengesetz erlassen und die Versorgung der geistig Behinderten verbessert. Als Gouverneur musste er sich auch mit dem Streik einiger Industriearbeiter auseinandersetzen. Dabei handelte er im Sinn der Arbeiter bei einem Streik der Arbeiter auf dem Gelände der Fabrik von General Motors in Flint und weigerte sich wie das Unternehmen verlangte die Nationalgarde einzusetzen. Nachdem er im Jahr 1938 bei den Gouverneurswahlen gegen Fitzgerald unterlag, musste er am 1. Januar 1939 aus dem Amt ausscheiden.
Justizminister und Richter am Obersten Gerichtshof
Nach dem Ende seiner Gouverneurszeit wurde er von Präsident Roosevelt als Nachfolger von Homer S. Cummings zum Justizminister der Vereinigten Staaten ernannt. Dieses Amt behielt er bis zum Februar 1940.
Am 5. Februar 1940 nominierte ihn Präsident Roosevelt dann zum Beisitzenden Richter am Obersten Gerichtshof der Vereinigten Staaten. Dieses Amt behielt er bis zu seinem Tod im Juli 1949 durch einen Herzinfarkt.