McPherson nació en Clyde, Ohio .[1] Asistió a la Academia Norwalk en Norwalk, Ohio,[2] y se graduó de la Academia Militar de los Estados Unidos en West Point en 1853, primero en su clase,[3] que incluía a Philip H. Sheridan, John M. Schofield y John Bell Hood: Hood se opondría a él más tarde en el Western Theatre. Designaron a McPherson directamente al cuerpo de ingenieros con la fila de segundo teniente del brevet . Durante un año después de su graduación, fue Instructor Asistente de Ingeniería práctica en la Academia Militar, un puesto nunca antes otorgado a un oficial tan joven.[4]
De 1854 a 1857, McPherson fue el ingeniero asistente encargado de las defensas del puerto de Nueva York y la mejora del río Hudson. En 1857 supervisó la construcción de Fort Delaware, y entre 1857 y 1861 fue ingeniero supervisor de la construcción de las defensas de la isla de Alcatraz, en San Francisco, California .[5]
En 1859, mientras estaba en San Francisco, conoció a Emily Hoffman, una mujer de una prominente familia de comerciantes en Baltimore que había venido a California para ayudar a cuidar a los hijos de su hermana. Pronto se comprometieron y se planeó una boda, pero finalmente se pospuso por el inicio de la Guerra Civil.[6]