Militant du parti marxiste allemand, le SPD, il en est élu député en 1912 (circonscription de Pirna, en Saxe).
En , il fait partie de la minorité qui s’oppose au revirement de la direction du SPD, qui approuve la guerre mondiale malgré toutes ses résolutions antérieures. Il rompt avec la discipline interne du parti social-démocrate en rejoignant Karl Liebknecht dans son vote au parlement contre les crédits de guerre le (Liebknecht avait déjà voté contre mais seul, en ).
Il fut avec Karl Liebknecht et Rosa Luxemburg un des cofondateurs du journal Die Internationale, dont le numéro unique paraît en et est immédiatement interdit par la censure impériale. Mais ces militants de la gauche du SPD, qui se réclament de l'internationalisme prolétarien intransigeant contre la première guerre mondiale, persistent en éditant les Lettres de Spartakus, puis en fondant la Ligue spartakiste dont Otto Rühle est membre dès le début.
L’ensemble des opposants à la guerre, plus ou moins radicaux, sont exclus du SPD et fondent en l’USPD (SPD indépendant). Les spartakistes en sont membres mais minoritaires, et développent leur propre politique (tracts, lettres, etc – le tout étant clandestin en raison de la censure).
En éclate la révolution allemande, auxquels prennent largement part les spartakistes. Otto Rühle n’en est pas un des militants les plus influents, qui sont Rosa Luxemburg, Karl Liebknecht, Leo Jogiches et Paul Levi. Fin la ligue spartakiste se joint à d’autres groupes plus réduits pour créer le Parti communiste d'Allemagne (KPD). Rühle est délégué au congrès, et il fait partie de la majorité qui est favorable au boycott des élections à l’Assemblée constituante.
Après la répression de la révolution et l’assassinat par le pouvoir SPD des principaux dirigeants du KPD (Rosa Luxemburg, Karl Liebknecht, Leo Jogiches) au premier trimestre 1919, le KPD procède en à l’exclusion de l’aile gauche anti-parlementaire. Otto Rühle fait partie des exclus, et participe à la création du KAPD (Parti communiste ouvrier d'Allemagne) début 1920.
Le KAPD se divise et Otto Rühle participe à la création de l’AAUE (ou AAUD-E) en 1921 (unions qui se veulent à la fois parti et syndicat). Rühle considère désormais que « la révolution n’est pas une affaire de partis ». Il devient une des figures du communisme de conseils.
Contraint à l’exil en 1933 en raison de l’arrivée au pouvoir des nazis, il émigre à Prague, puis en 1936, avec son épouse Alice Rühle-Gerstel, au Mexique. Il meurt à Mexico en 1943. Le jour même, après sa mort, son épouse se suicide.
Œuvre
La Révolution n'est pas une affaire de parti, Die Aktion, 1920.
Délégation en Russie (1920), paru dans Living Marxism (il s'agit de la délégation du KAPD pour le 2e congrès de l'IC, où Rühle refuse que le KAPD adhère à l'IC, même en tant qu'observateur).
