Nach dem Tod seines Vaters (1034) wurde er 1035 dessen Nachfolger als Pfalzgraf von Lothringen.
Nach dem Tod des Herzogs Hermann IV. (1038) wurde das Herzogtum Schwaben direkt von König Heinrich III. verwaltet. Erst 1045 (Goslar, 7. April) ernannte dieser mit Otto einen neuen Herzog von Schwaben und gab das lothringische Pfalzengrafenamt gleichzeitig an Ottos Vetter Heinrich I. († 1061). Otto starb aber bereits 1047. Er wurde in der Abtei Brauweiler durch Bischof Bruno von Toul beerdigt, der 1049 zum Papst Leo IX. aufstieg.
Otto II. wurde als Vater der Richenza von Schwaben angesehen, die in erster Ehe mit Graf Hermann von Werl und in zweiter Ehe mit Graf Otto von Northeim, ab 1061 als Otto II. Herzog von Bayern, verheiratet war. Die Verwandtschaft gilt aber heute als zweifelhaft.