Jordan nacque a Ellwangen, una piccola città nel sud della Germania. Studiò all'istituto politecnico di Stoccarda. Dopo aver lavorato per due anni come assistente ingegnere alle fasi preliminari della costruzione delle ferrovie ritornò nel 1865 a Stoccarda come assistente in geodesia. Nel 1868 fu nominato professore ordinario al Politecnico di Karlsruhe. Nel 1874 Jordan prese parte ad una spedizione di Friedrich Gerhard Rohlfs in Libia. Dal 1881 fino alla sua morte fu professore di geodesia e geometria pratica all'università di Hannover. Scrisse un manuale di geodesia (Handbuch der Vermessungskunde) che è la sua opera più conosciuta.
È ricordato tra i matematici per il contributo dato al miglioramento della stabilità dell'algoritmo dell'eliminazione di Gauss che oggi viene anche chiamato algoritmo di Gauss-Jordan. Questa tecnica algebrica apparve nel 1888 nella terza edizione del suo manuale di geodesia. Tuttavia alcuni sostengono che il nome dell'algoritmo sia stato attribuito in modo errato[1].
