Руге учился в лейпцигской школе Святого Фомы. На флот поступил в 1914 году. Участвовал в Первой мировой войне. По окончании войны остался служить на флоте в качестве минного офицера. С 1937 года командовал тральщиками.
С февраля 1941 года руководитель морской обороны на Западе. С мая по август 1943 года командующий ВМС в Италии. Позже представитель ВМС при главнокомандующем группы армий «Б». С ноября 1944 года — начальник Конструкторского управления ОКМ.
После окончания войны продолжил службу в восстанавливающихся ВМС ФРГ. С 1 марта1956 года. инспектор (главнокомандующий) ВМФ ФРГ.