Scharling tog 1861 juridisk examen, men slog sig sedan på studiet av statskunskap och blev 1869 professor i nationalekonomi, var 1872 en av stiftarna av Nationaløkonomisk forening och 1873-1900 en bland utgivarna av dess tidskrift. Åren 1876-98 var han folketingsman, deltog verksamt i förhandlingarna om ekonomiska och finansiella frågor och var de sista åren högerns ledare i folketinget. Slutligen var han 1900-01 finansminister i Hannibal Sehesteds ministär, men drog sig sedan tillbaka från det politiska livet och återgick till sin ställning vid Köpenhamns universitet. År 1872 var han ledamot av myntkommissionen och hade senare andra praktiska uppdrag samt var dessutom produktiv författare.
Scharling författade Indledning til den politiske økonomi (1868) och Pengenes synkende værdi, belyst ved danske aktstykker (1869), innehållande en dansk mynthistoria i sammandrag, Danmarks statistik (tillsammans med Vigand Andreas Falbe-Hansen, sex band, 1878-91), Værdilære (två band, 1888-1903), Bankpolitik (1900; andra utökade upplagan 1903), Handels- og toldpolitik (två band, 1904-05), Samfundsproduktionen (två band, 1907-08) och Handel, værdi og penge (1909) samt en mängd mindre uppsatser delvis i utländska tidskrifter. Han blev 1877 juris hedersdoktor i Uppsala och 1909 utländsk ledamot av Vetenskapsakademien i Stockholm.