Bei den Kongresswahlen des Jahres 1894 wurde Walker als Republikaner im neunten Wahlbezirk von Virginia in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1895 die Nachfolge von James William Marshall antrat. Nach einer Wiederwahl konnte er bis zum 3. März 1899 zwei Legislaturperioden im Kongress absolvieren. In diese Zeit fiel der Spanisch-Amerikanische Krieg von 1898. Ab 1897 war Walker Vorsitzender des dritten Wahlausschusses. Im Jahr 1898 wurde er nicht wiedergewählt.
Nach dem Ende seiner Zeit im US-Repräsentantenhaus praktizierte James Walker wieder als Anwalt. Er starb am 21. Oktober 1901 in Wytheville. Sein Urenkel M. Caldwell Butler wurde ebenfalls Kongressabgeordneter.