Charles Belknap besuchte die öffentlichen Schulen seiner Heimat und zog im Jahr 1855 mit seinen Eltern nach Grand Rapids. Zwischen 1862 nahm er am Bürgerkrieg teil. Dabei stieg er im Heer der Union bis zum Hauptmann auf. Im Jahr 1864 war er bei den Truppen von General William T. Sherman, die Atlanta eroberten und quer durch Georgia, South Carolina und North Carolina zogen. Zwischen 1865 und 1871 lebte Belknap auf einer Farm in der Nähe von Sparta in Michigan. Dann kehrte er nach Grand Rapids zurück. Dort gründete er die Belknap Wagon and Sleigh Company. Außerdem wurde er Mitglied der dortigen Feuerwehr.
Politisch war Belknap Mitglied der Republikanischen Partei. Er saß im Bildungsausschuss seiner Heimatstadt. Zwischen 1880 und 1882 gehörte er dem Stadtrat von Grand Rapids an; im Jahr 1884 wurde er dort zum Bürgermeister gewählt. Von 1885 bis 1891 war er Kurator des Taubstummenheims in Flint. Bei den Kongresswahlen des Jahres 1888 wurde er im fünften Wahlbezirk von Michigan in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1889 den DemokratenMelbourne H. Ford ablöste, den er bei der Wahl geschlagen hatte. Da er bei den Wahlen des Jahres 1890 nicht mehr kandidierte, konnte er bis zum 3. März 1891 zunächst nur eine Legislaturperiode im Kongress absolvieren. Bei diesen Wahlen wurde sein Vorgänger Melbourne Ford zu seinem Nachfolger gewählt. Da dieser aber schon am 20. April 1891 verstarb, kam es im fünften Distrikt zu Nachwahlen, bei denen Belknap erneut in den Kongress gewählt wurde. Dort beendete er zwischen dem 3. November 1891 und dem 3. März 1893 die laufende Legislaturperiode. Bei den Wahlen des Jahres 1892 unterlag Belknap dem Demokraten George F. Richardson. Er legte gegen diesen Wahlausgang erfolglos Widerspruch ein.
Während des Spanisch-Amerikanischen Krieges erledigte er in Fort Oglethorpe administrative Aufgaben. Anschließend zog sich Charles Belknap ins Privatleben zurück. Er starb am 16. Januar 1929 in Grand Rapids.
