Han var uddannet jurist, og var sekretær for Nationalrådets socialdemokratiske præsident i den Første østrigske republik (1918 – 1934), og var medlem af forbundsrådet 1933-34. Efter Nazitysklandsanneksion af Østrig i 1938, ariserede han i juni den jødiske advokat Arnold Eislers advokatpraksis. Schärf var i flere omgange i politisk fangenskab, og han var medlem af den østrigske modstandsgruppe O5.
Efter 2. verdenskrig blev han formand for Østrigs Socialdemokratiske Parti og medlem af Den Anden Republiks Nationalråd. Han deltog endvidere i 1955 i forhandlingerne om den Østrigske Statstraktat. I 1956 blev han vicekansler og han blev valgt til præsident i 1957 og genvalgt i 1963.
Som præsident huskes Adolf Schärf for sin værtsrolle for topmødet mellem John F. Kennedy og Nikita Khrusjtjov i Wien i 1961. Han udførte sit embede upolitisk og var samtidig agtet for sin store autoritet.
Schärf in "London-Information der österreichischen Sozialisten in England", #8, 15. April 1946, S. 1 – 3, anlässlich eines politischen Besuchs in London, Scan bei ANNO