Als Student lernte Tröger die Sportart Basketball kennen, wurde an der Universität Erlangen Spieler der Hochschulmannschaft und Basketball-Obmann. 1954 war er für die Veranstaltung des ersten Länderspiels der bundesdeutschen Studentennationalmannschaft zuständig, welches in Darmstadt gegen Frankreich stattfand. 1956 wurde er Rechtswart des Hessischen Basketball-Verbandes und 1957 Vorsitzender des Verbands. Seine Amtszeit endete 1967, er wurde anschließend zum Ehrenmitglied ernannt. Im Deutschen Basketball-Bund (DBB) war Tröger ab 1957 als Rechtswart tätig. 1960 gab er das Amt ab. Bis 1976 war er Mitglied des DBB-Ehrenrates und von 1976 bis 2006 Vizepräsident des Deutschen Basketball Bundes sowie Vertreter des Präsidenten. Von 1964 bis 1994 saß Tröger in der Internationalen Kommission des Basketball-Weltverbands FIBA.[5]
Von 1983 bis 1990 war er Sportdirektor des Internationalen Olympischen Komitees (IOC). Tröger war von 1992 bis 2002 Präsident des Nationalen Olympischen Komitees (NOK) für Deutschland und ab 2003 Ehrenpräsident des NOK für Deutschland. Von 1990 bis 2010 führte er die Kommission „Sport für alle“[6] sowie später Ehrenmitglied das in „Sport und aktive Gesellschaft“ umbenannte Gremium, das sich um Breitensportentwicklung kümmert. Von 1989 bis 2009 war er Mitglied des Internationalen Olympischen Komitees (IOC), danach Ehrenmitglied. Walther Tröger war von 1976 bis 2002 achtmal Chef de Mission bei Olympischen Winterspielen.
In der Menschenrechtsdebatte um die Olympischen Sommerspiele 2008 in Peking nahm Walther Tröger am Tag der Verurteilung des bekannten chinesischen Menschenrechtsaktivisten Hu Jia eine von vielen als polarisierend angesehene Haltung ein. Er sagte Pressevertretern gegenüber: „Wer in gekennzeichneten Bereichen gegen das Verbot unzulässiger Werbung oder Propaganda verstößt, kann unverzüglich und nach Prüfung des Einzelfalls ausgeschlossen werden“ und drohte: „Selbstverständlich steht ihm frei, an den Spielen nicht teilzunehmen, wenn er nicht bereit ist, die Regeln anzuerkennen.“[8]
↑Arnd Krüger: Coubertins débrouillardise und der moderne Spitzensport, in: Ommo Grupe (Hrsg.): Einblicke. Aspekte olympischer Sportentwicklung. Festschrift für Walther Tröger. Schorndorf: Hofmann 1999, 202–206.