Gebührs ouders waren de koopman Otto Gebühr en diens echtgenote Fanny Mathilde Moll. Hij groeide op in Hülsenbusch, een stadsdeel van Gummersbach (Noordrijn-Westfalen), en na de dood van zijn vader in Keulen. Daar volgde hij middelbaar onderwijs en kreeg hij een praktijkopleiding in de handel bij M. Michels & Co, groothandel in wol.
In 1896 trad Gebühr als correspondent in dienst bij de firma Hergersberg & Co. in Berlijn. In zijn vrije tijd volgde hij een theateropleiding. Al spoedig zei hij zijn baan op en werd hij freelance toneelspeler. Hij kreeg een vaste baan bij de stadsschouwburg in Görlitz. Tussen 1898 en 1908 werkte hij bij het Schauspielhaus am Zwinger in Dresden, daarna bij het Lessingtheater in Berlijn.
Tijdens de Eerste Wereldoorlog diende Gebühr als oorlogsvrijwilliger bij het 3. Garde-Feldartillerieregiment, waar hij het tot luitenant bracht. Tussen 1917 en 1919 werkte hij onder Max Reinhardt bij het Deutsches Theater Berlin. In die tijd begon ook zijn filmcarrière, toen de regisseur Paul Wegener hem polste of hij daarvoor belangstelling had.
In 1919 speelde Gebühr voor het eerst de rol van Frederik II van Pruisen, in de film Die Tänzerin Barbarina, die in 1920 uitkwam. In dat jaar begonnen al de opnamen voor de tetralogieFridericus Rex, vier films over het leven van de koning, die in de jaren 1921-1923 werden uitgebracht en veel publiek trokken. Hoewel Gebühr ook andere rollen speelde, kwam men steeds bij hem uit als er een film met Frederik II moest worden gemaakt. Er volgden nog tien films waarin hij die rol speelde.
In de tijd van het Derde Rijk gold hij als ‘unabkömmlicher Kulturschaffender’ (‘onvervangbare cultuurschepper’). In 1938 kreeg hij de eretitel Staatsschauspieler, de hoogste titel die een acteur in die tijd kon krijgen. In 1942 speelde hij, alweer als Frederik II, de hoofdrol in de propagandafilmDer große König onder regie van Veit Harlan. Frederik, verslagen in de Slag bij Kunersdorf, besluit toch door te vechten. Dankzij sergeant Paul Treskow, die de bevelen van hogerhand negeert en toch aanvalt, wint hij de Slag bij Torgau. Treskow wordt gestraft wegens insubordinatie; Frederik had hem na het ondergaan van zijn straf willen bevorderen tot luitenant, maar uit wrok blijft Treskow zich ondisciplinair gedragen, dus de bevordering blijft achterwege. Treskow ziet echter tijdig zijn fouten in en sterft voor de ogen van zijn koning de heldendood bij de belegering van Schweidnitz. De film kwam uit op een moment dat het Duitse offensief in de Sovjet-Unie dreigde dood te lopen en Engeland was begonnen Duitse steden te bombarderen, en was bedoeld om het moreel van de Duitse bevolking op te vijzelen.
Na de Tweede Wereldoorlog mocht Gebühr tot 1947 niet meer optreden. Daarna werkte hij opnieuw als toneelspeler, te beginnen met De kersentuin van Tsjechov. Al spoedig speelde hij ook weer in amusementsfilms, soms weer onder regie van Veit Harlan. Hij stierf in 1954 kort voor de afronding van de film Rosen-Resli aan een hartinfarct.
Gebühr trouwde in 1910 met Cornelia Bertha Julius. Ze kregen een dochter, Hilde Gebühr (1910-1945), die ook actrice werd. In 1942 hertrouwde hij met de actrice Doris Krüger (1913–1950). Uit dit huwelijk werd in 1942 een zoon Michael Gebühr (1942–2021) geboren, die archeoloog werd.
Films met Otto Gebühr als Frederik II de Grote
Affiche voor de film Fridericus, 1936 of 1937
1920: Die Tänzerin Barbarina, regie: Carl Boese
1921-1923: Fridericus Rex, regie: Arzén von Cserépy
aflevering 1 - Sturm und Drang
aflevering 2 - Vater und Sohn
aflevering 3 - Sanssouci
aflevering 4 - Schicksalswende
1926: Die Mühle von Sans Souci, regie: Siegfried Philippi
1927: Der Alte Fritz – deel 1: Friede, regie: Gerhard Lamprecht
1927: Der Alte Fritz – deel 2: Ausklang, regie: Gerhard Lamprecht
1930: Das Flötenkonzert von Sans-souci, regie: Gustav Ucicky
