Rudolf III., um 1281 oder 1282 in Wien geboren, war der älteste Sohn von Albrecht I. und Elisabeth von Görz-Tirol. Gemeinsam mit seinen Brüdern Leopold I. und Friedrich III. erhielt er um 1298 die Belehnung mit Österreich und der Steiermark, blieb jedoch zeitlebens unter dem starken Einfluss seines Vaters. Dennoch verwaltete Rudolf seine Länder weitgehend eigenständig.
Seine erste Ehe ging er im Jahr 1300 in Paris mit Blanche, der Schwester König Philipps IV. von Frankreich, ein. Diese Verbindung sollte ihm den Weg zur Alleinherrschaft über Frankreich ebnen, doch die Ehe währte nur kurze Zeit. Nach der Ermordung Wenzels II. von Böhmen heiratete Rudolf dessen Witwe Elisabeth-Richsa, was ihm den Anspruch auf die böhmische Königskrone sicherte – er wurde schliesslich als König Böhmens anerkannt.
Das Reich Böhmen war jedoch von hohen Schulden belastet, die Rudolf durch die Einnahmen aus der bedeutenden Silbermine in Kuttenberg (heute Kutná Hora) auszugleichen versuchte. Einen aufkeimenden Aufstand des Adels konnte er erfolgreich niederschlagen. In seinen letzten Jahren verschlechterte sich Rudolfs Gesundheit zusehends. Am 4. Juli 1307 verstarb er in Horažďovice, im heutigen Tschechien, vermutlich an den Folgen einer Ruhr-Erkrankung. Seine letzte Ruhestätte fand er im Veitsdom zu Prag.