George Kipp besuchte die öffentlichen Schulen seiner Heimat. In den folgenden 35 Jahren arbeitete er im Holzgeschäft. Danach schlug er als Mitglied der Demokratischen Partei eine politische Laufbahn ein. 1880 wurde er Bezirksrat (County Commissioner) im Wayne County. Bei den Kongresswahlen des Jahres 1906 wurde Kipp im 14. Wahlbezirk von Pennsylvania in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1907 die Nachfolge des RepublikanersMial Eben Lilley antrat. Da er im Jahr 1908 nicht mehr kandidierte, konnte er bis zum 3. März 1909 nur eine Legislaturperiode im Kongress absolvieren. Danach bewarb er sich erfolglos um das Amt des Finanzministers von Pennsylvania.
Bei den Wahlen des Jahres 1910 wurde Kipp erneut im 14. Distrikt seines Staates in den Kongress gewählt, wo er am 4. März 1911 Charles Clarence Pratt ablöste, der zwei Jahre zuvor sein Nachfolger geworden war. Er konnte sein Mandat bis zu seinem Tod am 24. Juli 1911 ausüben. Allerdings starb er noch vor der konstituierenden Sitzung des 1910 gewählten Kongresses.