Aufgewachsen im Münchner Stadtteil Au, begann Toni Berger 1939 nach der Lehre in einer Gießerei mit dem Schauspielunterricht. Bereits als Kind hatte er seinen Freunden Puppentheaterstücke vorgespielt. Der Zweite Weltkrieg machte Berger, der eigentlich Opernsänger werden wollte, sämtliche Berufspläne zunichte.
Nach dem Kriegsdienst ging er 1945 mit dem damals noch genauso unbekannten Freund und Kollegen Gustl Bayrhammer ans Hoftheater Sigmaringen, wo er erste Berufserfahrungen sammelte. Durch seine Wandlungsfähigkeit und das Talent, Charakterrollen glaubhaft zu verkörpern, gelang es ihm, sich in der außerbayerischen Theaterszene einen Namen zu machen. Von 1966 bis 1972 spielte er im Nationaltheater von Mannheim und am Schillertheater in Berlin, außerdem in Bielefeld. In Sigmaringen trat er hin und wieder, insbesondere bei Personalengpässen im Musiktheater, auch als Bariton-Buffo in Operetten auf.
1972 holte ihn Kurt Meisel ans Münchner Residenztheater, unter anderem in der Rolle des Bürgermeisters in Der Hauptmann von Köpenick. In seiner ersten größeren Rolle übernahm er den „Illo“ von seinem verstorbenen Kollegen Hans Cossy im Wallenstein. Die Rolle seines Lebens fand er jedoch in dem bayerischen Volksstück Der Brandner Kaspar und das ewig’ Leben, in welchem er über tausendmal den Boandlkramer, den „Kerschgeist“-süchtigen bayerischen Tod, mit seinen nur allzu menschlichen Schwächen verkörperte. Dadurch wurde er, der vor allem die klassischen Charakterrollen gespielt hatte, zum Grandseigneur des bayerischen Komödienspiels. 1984 spielte er in Peter Zadeks Inszenierung von Henrik Ibsens „Baumeister Solness“ den alten Brovik. Als Berger nach dem Tod von Gustl Bayrhammer einige von dessen Rollenpositionen übernahm, erhöhte sich sein Bekanntheitsgrad weiter.
C. Bernd Sucher (Hrsg.): Theaterlexikon. Autoren, Regisseure, Schauspieler, Dramaturgen, Bühnenbildner, Kritiker. Von Christine Dössel und Marietta Piekenbrock unter Mitwirkung von Jean-Claude Kuner und C. Bernd Sucher. 2. Auflage. Deutscher Taschenbuch-Verlag, München 1999, ISBN 3-423-03322-3, S. 60.