1893-tól éveken keresztül az OMGE ügyvezető titkára, majd 1906-tól igazgatója volt. 1901-től országgyűlési képviselő volt. A Tanácsköztársaság bukása után jelentős szerepet játszott a Nagyatádi Szabó István-féle Kisgazdapártban. 1919. augusztus 27-től 1920. július 19-ig (1920. július 19-től augusztus 15-ig ideiglenesen) a Friedrich-, a Huszár-, a Simonyi-Semadam- és az első Teleki-kormányban földművelésügyi miniszter illetve 1920. július 19-től 1920. december 16-ig egyben kereskedelemügyi miniszter is volt. Rubinek Gyula készítette el a földreformjavaslatot, amelyet Nagyatádi Szabó változtatás nélkül nyújtott be a parlamentben.
1921 elején a Kisgazdapárt tiszteletbeli elnökévé választotta. Több könyvet és cikket írt, többek között a vámpolitikával foglalkozott. 1889-ben a Borászati Lapok, majd 1891 és 1893 között a Köztelek szerkesztője, később főszerkesztője.