Im Jahre 1271 wurde Rudolf als zweiter Sohn König Rudolfs I. geboren. Zusammen mit seinem Bruder Albrecht I. wurde er als Herzog von Österreich und Steiermark, musste jedoch wegen des Vertrages von Rheinfelden vom 1. Juni 1283 auf diese Länder verzichten, denn der Willebrief der Kurfürsten vom 27. Dezember 1282 verlangte es, dass Albrecht der Alleinerbe der Länder sein soll. Rudolf sollte mit einem anderen Königreich oder aber Geld entschädigt werden. Er erhielt jedoch keine dieser Abfindungen von Albrecht zugesprochen, weshalb dieser 1308 aus Rache von Rudolfs Sohn Johann (Parricida) in Königsfelden ermordet wurde, welcher aus der Heirat mit Agnes von Böhmen hervorgegangen ist. Am 10. Mai 1290 starb Rudolf II. in Prag.