Als dritter Sohn von Erzherzog Franz Karl und Erzherzogin Sophie kam Karl Ludwig (voller Name: Karl Ludwig Joseph Maria) am 30. Juli 1833 in Wien zur Welt. Als Bruder Kaiser Franz Josephs I. hatte Karl Ludwig bloss das Amt des Tiroler Statthalters und das nicht länger als sechs Jahre. Auch Militär und Politik waren weniger seine Welt. Vielmehr interessierte er sich für Kunst und war daher Protektor mehrerer Künstlervereinigungen. Er mochte es, Bälle und Wohltätigkeitsveranstaltungen zu geben und war beim Volk wohlbemerkt ein beliebter und gern gesehener Vertreter des Kaiserhauses. Nachdem sich Kronprinz Rudolf im Jahre 1889 umgebracht hatte, vertrat Karl Ludwig den Kaiser, wenn dieser im Ausland war.
Karl Ludwigs erste Ehe mit Margarete von Sachsen blieb kinderlos. Mit seiner zweiten Frau Maria Annunziata von Neapel-Sizilien hatte er vier Kinder, und mit der dritten Frau Maria Theresia von Portugal zwei Töchter. Alle drei Frauen wurden für ihn von seiner Mutter Sophie ausgesucht, welche ihn streng katholisch erzog. Dies führte später gar dazu, dass Karl Ludwig einem religiösen Wahn verfiel und nicht selten von der Kutsche aus die Passanten segnete, die ihm zuwinkten. Karl Ludwig starb am 19. Mai 1896 auf einer Pilgerreise ins Heilige Land, nachdem er verseuchtes Jordanwasser getrunken hatte. Somit wurde sein ältester Sohn Franz Ferdinand Thronfolger.