Karl Ludwig (vollständiger Name: Karl Ludwig Joseph Maria) wurde am 30. Juli 1833 als dritter Sohn von Erzherzog Franz Karl und Erzherzogin Sophie in Wien geboren. Als Bruder von Kaiser Franz Joseph übernahm er lediglich das Amt des Statthalters von Tirol, und das auch nur für sechs Jahre. Militär und Politik waren weniger seine Berufung; vielmehr galt sein Interesse der Kunst. Er unterstützte mehrere Künstlervereinigungen als Schirmherr und gab mit Vorliebe Bälle und Wohltätigkeitsveranstaltungen, durch die er beim Volk als beliebtes und gern gesehenes Mitglied des Kaiserhauses geschätzt wurde. Nach dem Suizid des Kronprinzen Rudolf im Jahr 1889 vertrat Karl Ludwig den Kaiser während dessen Abwesenheiten im Ausland.
Seine erste Ehe mit Margarete von Sachsen blieb kinderlos. Mit seiner zweiten Frau, Maria Annunziata von Neapel-Sizilien, hatte er vier Kinder, und mit seiner dritten Ehefrau, Maria Theresia von Portugal, zwei Töchter. Alle drei Ehefrauen wurden von seiner Mutter Sophie ausgesucht, die ihn so streng katholisch erzogen hatte, wie seine Brüder. Diese Erziehung hat ihn in seiner Gläubigkeit dermassen geprägt, dass Karl Ludwig sehr leicht in religiöse Verzückung geriet und es zuweilen pflegte, von seiner Kutsche aus ihm zuwinkenden Passanten Segenszeichen zuzuwerfen. Karl Ludwig starb am 19. Mai 1896 auf einer Pilgerreise ins Heilige Land, nachdem er mutmasslich verseuchtes Wasser aus dem Jordan getrunken hatte. Damit rückte sein ältester Sohn Franz Ferdinand als Thronfolger Franz Josephs nach.