Der jüngste Bruder Kaiser Franz Josephs I. wurde am 15. Mai 1842 in Wien geboren und war eine der schillerndsten Figuren im Hause Habsburg. Als junger Mann schlug er die für männliche Mitglieder des Kaiserhauses typische Militärlaufbahn ein. So wurde er General der Infanterie und stand einem Regiment vor. Sein Bruder Maximilian I. unterbreitete Ludwig Viktor den Vorschlag, ihn zu seinem Nachfolger und Erben zu machen. Dabei soll er mit der Tochter des Kaisers von Brasilien vermählt werden. Er lehnte diesen Plan jedoch entschieden ab.
Die Machenschaften des Kaiserhauses, welche ohnehin nur politische Zwecke verfolgten, interessierten ihn nicht. Viel lieber beschäftigte er sich mit Kunst und Architektur; so liess er sich beispielsweise das imposante Palais Erzherzog Ludwig Viktor am Schwarzenbergplatz erbauen. Sein ungehemmtes Mundwerk und seine Homosexualität sorgten für Unmut am Hofe und brachten ihm den Übernamen „Luzuwuzi“. Kaiserin Elisabeth war ihm ganz und gar nicht wohlgesinnt und warf ihm vor, er wolle mit Absicht Unruhe stiften innerhalb der Familie.
Weitere Skandale folgten, als Ludwig Viktor in Frauenkleidern erschien und ganz besonders als er im damaligen Centralbad an der Weihburggasse (heutige Gay-Sauna Kaiserbründl) einen deutlichen sexuellen Annäherungsversuch startete, welcher so offensichtlich war, dass man ihn nicht mehr vertuschen konnte. Das führte dazu, dass Sein Bruder Franz Joseph ihn von Wien weg schickte nach Schloss Klessheim, um die Ehre des Kaiserhauses zu wahren. Dort fühlte sich Ludwig Viktor wohl und liess das Barockschloss gestalten und erbaute auf demselben Grundstück das so genannte Kavalierhaus.
Er stellte grosszügige Spenden für die Kunstförderung bereit und war Mäzen des Salzburger Kunstvereins. Ihm Jahre 1896 wurde er von Franz Joseph zur Aufsichtsinstanz über das Österreichische Rote Kreuz ernannt. In seinen letzten Lebensjahren überkam Ludwig Viktor zunehmen geistige Verwirrung, und am 18. Januar 1919 starb er in seinem geliebten Schloss Klessheim. Sein Grab befindet sich auf dem Friedhof von Siezenheim. Auf seinem Grabstein steht kein Name gemeisselt, sondern lediglich die Worte:
Meinem Kaiser (Franz Joseph) Dank!
Die Seele Gott – in Buss’ und Reue,
Der starren Erde meine Hülle. –
Dafür, was sie mir einst im Leben,
Den Dankesgruss an meine Freunde,
Und all den Blinden mein Vergeben,
Die, – unverdient, mir etwa Feinde.