Van Rappard volgde de Koninklijke Militaire Academie en werd in 1866 benoemd tot tweede luitenant en aangewezen als leraar in de artillerie-regimenten. In 1872 werd hij tot eerste luitenant benoemd en op 1 september 1872 overgeplaatst bij het eerste regiment vesting-artillerie. In 1900 werd hij benoemd tot kolonel en commandant van het tweede regiment vesting-artillerie. De hoogste rang die Van Rappard in het leger bereikte was die van luitenant-generaal. Hij was vanaf 1900 lange tijd werkzaam bij de generale staf.
Minister van oorlog
Net als zijn voorganger Hendrik Pieter Staal, wist ridder van Rappard de Eerste- en Tweede Kamer niet te overtuigen over de wijziging van het 'blijvende gedeelte' van het leger. Het verwerpen van de begroting zorgde ervoor dat het kabinet-De Meester aftrad.
