Geboren wurde Rudolf vermutlich im Jahre 1281 in Wien als erster Sohn Albrechts I. und Elisabeth von Görz-Tirol. Er und seine beiden Brüder Leopold I. und Friedrich III. wurden um 1298 mit Österreich und der Steiermark belehnt, aber dennoch blieb er stets unter dem Einfluss seines Vaters. Trotzdem verwaltete Rudolf seine Länder weitgehend selbständig. Eine erste Heirat mit Blanche, der Schwester König Philipps IV. von Frankreich, in Paris im Jahre 1300 hätte Rudolf zum Alleinherrscher Frankreichs machen sollen. Diese Ehe dauerte jedoch nicht lange, worauf er nach der Ermordung Wenzels II. von Böhmen dessen Witwe Elisabeth-Richsa heiratete, was ihm den Anspruch auf den böhmischen Königstitel ermöglichte.
Das Land war hoch verschuldet, was Rudolf mit der grossen Silbermine in Kuttenberg auszugleichen versuchte. Einen beginnenden Aufstand von Adligen konnte er erfolgreich niederschlagen. Bald wurde Rudolf III. kränklich und erlag am 4. Juli 1307 im heute tschechischen Horaschdowitz (Horaždovice) vermutlich an Ruhr. Er liegt im Veitsdom zu Prag begraben.