Rudolf wurde am 1. November 1339 in Wien geboren. Er soll einer der tüchtigsten und zielstrebigsten Herrscher Österreichs im Spätmittelalter gewesen und schon als junger Mann mit königlichem Stolz aufgetreten sein. Einer seiner Rivalen war sein Schwiegervater Karl IV. von Böhmen, welcher sich sehr um die Stellung Prags verdient machte. Daher war es eines von Rudolfs grössten Bestreben, Wien als konkurrierendes Machtzentrum auszubauen und bedeutender zu machen, wobei ihm ein Punkt ein ganz besonderes Anliegen war: Wien war nach wie vor kein Bischofssitz und unterlag immer noch dem Bistum Passau. Da Passau einen festeren Draht zum Papst in Rom hatte, wurde Wien nicht zur Bischofsresidenz. Rudolf liess die Stephanskirche umfangreich ausbauen und erweitern, bestimmt nicht ohne den Hintergedanken, dem mächtigen Veitsdom zu Prag das Wasser reichen zu können. Rudolf gründete 1365 die Wiener Universität und machte es somit Karl nach, welcher in Prag zuvor die Karls-Universität gegründet hatte.
Rudolf unternahm vieles, um Wien wirtschaftlich zu festigen und zu verbessern. Dabei bediente er sich gelegentlich unlauterer Mitteln, wovon besonders die Fälschung des Privilegium Maius zu nennen ist, welches Rudolf einem Kurfürsten gleichstellte (diesen Titel gab es in Österreich nicht). Aus dieser Machenschaft ging der für Habsburg typisch gewordene Titel des Erzherzogs hervor. Ein Erbvertrag Rudolfs mit der Wittelsbacherin Margarethe von Tirol nach dem Tode deren Sohnes Meinhard III. im Jahre 1363 machte Tirol zu österreichischem Herrschaftsgebiet. Im Folgejahr schloss Rudolf mit Karl IV. von Böhmen ebenfalls einen Erbvertrag, welcher die gegenseitige Erbfolge der Häuser Habsburg und Luxemburg regelte. Noch im selben Jahr vereinbarte er mit seinen Brüdern Albrecht III. und Leopold III. die Rudolfinische Hausordnung, welche den gemeinsamen Besitz der Länder festlegte, welche aber schon bald durch heftige Streitigkeiten unter seinen Brüdern auseinanderfiel.
Rudolf IV. hat trotz seiner zweifelhaften Aktionen viel zur Entwicklung Wiens beigetragen. Er war zudem der erste Fürst des Abendlandes, welcher authentisch porträtiert wurde. Gegen Ende seines kurzen Lebens litt Rudolf zunehmend an einer beginnenden Gesichtslähmung. Er starb am 27. Juli 1365 in Mailand und liegt in der Habsburgergruft unter dem Stephansdom bestattet.