Geboren am 3. Juni 1540 in Wien war Karl der jüngste Sohn Kaiser Ferdinands I. Bereits im alter von zehn Jahren hatte Karl seinen eigenen Hofstaat. Von seinem Vater erhielt er die innerösterreichischen Territorien übertragen, während seine Brüder die anderen Ländereien erhielten. Alle drei waren gleichgestellt und hatten dieselben Rechte und Pflichten. Graz wurde Residenzstadt und Hauptsitz der inneren Zentralverwaltungen. Karls Vater Ferdinand I. war bestrebt, Beziehungen der Habsburger mit dem englischen Königshaus zu stärken. Eine geplante Vermählung Karls II. mit Elisabeth I., Königin von England, kam jedoch nicht zustande einerseits wegen religiösen Gründen (Karl war frommer Katholik und nicht bereit, die Religion zu wechseln) und andererseits wegen Elisabeths Heiratsunwillen. Auch Heiratspläne mit Maria Stuart scheiterten. Schliesslich vermählte sich Karl II. am 26. August 1571 mit seiner Nichte Maria von Bayern aus dem Hause der Wittelsbacher. Sie hatten 15 Kinder, welche hauptsächlich von der streng katholischen Mutter erzogen wurden.
Karl II. war bemüht, den Augsburger Religionsfrieden in seinen Landen durchzusetzen, was ihm aber Schwierigkeiten bereitete, zumal ihm zahlreiche protestantische Adelsstände gegenüberstanden. Auch die anhaltende Gefahr der Türken aus dem Osten bereiteten ihm Sorgen und übten Druck auf ihn aus. Um der Situation Luft zu verschaffen, entschloss sich Karl II. zur Grazer Religionspazifikation, welche den Herren und Ritterständen Religionsfreiheit und den Bürgern Gewissensfreiheit gewährte. Um der Sache aber dennoch entgegenzuwirken, berief er die Jesuiten nach Graz, welche da ein Kollegium gründeten als Gegenstück zur protestantischen Stiftsschule. Karl förderte Kunst und Kultur und liess in Graz grosse bauliche Veränderungen vornehmen wie beispielsweise der Ausbau der Burg, die Erweiterung des Domes oder die Umgestaltung des Schlossbergs. Im Jahre 1585 gründete er die Grazer Universität. Um gegen die immerwährende Türkengefahr vorzugehen, gründete er in Kroatien die Festung Karlsstadt (Karlovac). Um 1580 gründete er in Lipizza bei Triest die heute weltberühmte Pferdezucht der Lipizzaner.
Für sich und seine Angehörigen liess Karl in der Basilika des Stifts in Seckau von italienischen Künstlern ein Mausoleum erbauen, welches zu den bedeutendsten Werken der Spätrenaissance und des Frühbarocks gehört. Karl II. starb am 10. Juli 1590 in Graz und liegt in Seckau in der Gruft unter dem Mausoleum bestattet.