Nachdem er eine Bildung auf Privatschulen erhalten hatte, besuchte Julius Rockwell die Yale University, studierte dort die Rechtswissenschaften und machte 1826 seinen Abschluss. Er wurde Mitglied der Anwaltskammer und praktizierte ab 1830 in Pittsfield (Massachusetts). Seine politische Laufbahn begann 1834, als er ins Repräsentantenhaus von Massachusetts einzog, dem er bis 1838 angehörte; drei Jahre lang übte er das Amt des Speaker dieser Parlamentskammer aus. Von 1838 bis 1840 war er staatlicher Beauftragter für die Bank of Massachusetts, die später in der heutigen Bank of America aufging.
Rockwell war Mitglied der Whigs, für die er ab dem 4. März 1843 im Repräsentantenhaus der Vereinigten Staaten saß. Nach dreimaliger Bestätigung verzichtete er 1850 auf die erneute Wiederwahl. 1853 nahm er als Delegierter am Verfassungskonvent teil; am 3. Juni des folgenden Jahres nahm er den Platz des zurückgetretenen Edward Everett im US-Senat ein. Als ernannter Senator übte er dieses Mandat lediglich bis zum 31. Januar 1855 aus, als ihm der bei der Nachwahl siegreiche Henry Wilson folgte. Nach der Auflösung der Whig Party trat Rockwell den Republikanern bei, als deren Wahlmann er bei der Präsidentschaftswahl 1856 dem Electoral College angehörte. John C. Frémont, der in Massachusetts die Stimmenmehrheit errang, unterlag bundesweit allerdings dem DemokratenJames Buchanan.
1858 kehrte Rockwell ins Repräsentantenhaus von Massachusetts zurück und wurde auch wieder dessen Speaker. Im folgenden Jahr wurde er zum Richter am Superior Court seines Staates ernannt, was er bis 1886 blieb, als er sich zur Ruhe setzte. Zwei Jahre später starb er in Lenox, wo er auch beigesetzt wurde. Sein Sohn Francis war von 1884 bis 1891 ebenfalls Kongressabgeordneter für Massachusetts.
