Otto war der ältere Sohn des Grafen Werner I. Sein Geburtsdatum ist unbekannt, man weiss jedoch, dass er im Oberelsass ansässig war. Man geht davon aus, dass er der erste war, der sich offiziell Graf „von Habsburg“ nannte. Otto war mit Hilda Gräfin von Pfirt verheiratet und hatte drei Kinder: Rudolf, Werner und Adelheid.
Im Jahre 1108 zog Otto an der Seite Kaiser Heinrichs V. (1086-1125), der letzte Herrscher der Salier, auf den Kriegszug gegen Ungarn. Auf seiner Rückkehr in die Heimat wurde Otto II. am 8. November 1111 ermordet. Sein Sohn Werner II. führte den Stammbaum weiter.