Am 8. November 1850 wurde Karel Komzák in Prag geboren. Sein Vater, Karel Komzák der Ältere, stellte früh die musikalische Begabung seines Sohnes fest und unterrichtete ihn, bis dieser im Alter von erst elf Jahren sein Studium in Violine, Musiktheorie und Dirigieren begann. 1869 trat Komzák Junior als Violinist dem Orchester des 11. Regiments in Linz bei, das unter der Leitung seines Vaters stand. Während seiner zweieinhalbjährigen Tätigkeit in Linz sammelte Komzák zudem als Leiter des Linzer Theaterorchesters wertvolle Erfahrungen im Dirigieren. 1871 erhielt er die Dirigentenstelle beim 7. Infanterieregiment in Innsbruck. Dort lernte er die Tiroler Volksmusik kennen, die schliesslich einen starken Einfluss auf seine Chorwerke hatte, welche er für die von ihm selbst geleitete Innsbrucker Liedertafel schrieb.
1882 wurde Komzák nach Wien berufen, um die Leitung des 84. Infanterieregiments zu übernehmen. Seine Popularität wuchs rasch und reichte bald weit über die österreichischen Grenzen hinaus. Er soll eine sehr sympathische Ausstrahlung gehabt haben und von freundlicher Natur gewesen sein, und seine dynamische Art zu dirigieren imponierte den Menschen. In Wien wurde Komzák zu einem Liebling der Bevölkerung, er galt bald als einer der führenden Militärkomponisten seiner Zeit.
Komzák leistete einen bedeutenden Beitrag zur Entwicklung der österreichischen Militärmusik, indem er Streichinstrumente einsetzte – eine für die Militärmusik ungewöhnliche Praxis. Seine Militärkapelle umfasste unter anderem 14 Geigen, was in jener Zeit einem vollständigen Konzertorchester gleichkam. Nach ausgedehnten und erfolreichen Konzertreisen verliess er 1892 das Regiment aus gesundheitlichen Gründen und siedelte in die Kurstadt Baden über, wo er die Leitung des Kurorchesters übernahm. Noch im selben Jahr gab er in Wien ein Abschiedskonzert mit seinem Regimentsorchester, bevor dieses nach Mostar in Herzegowina verlegt wurde.
Bis zu seiner Pensionierung im Jahr 1896 verbrachte Komzák die Wintermonate weiterhin bei seinem Regiment in Mostar. Im Frühling kehrte er jeweils nach Baden zurück und dirigierte während der Kursaison sein Orchester. Aus diesen Zeiten stammt unter anderem sein grosser Konzertwalzer „An der schönen grünen Narenta“. Der Höhepunkt von Komzáks Karriere war seine Teilnahme an der Weltausstellung in St. Louis, Missouri, im Jahr 1904, wo er mit dem Wiener Farbenorchester mehrere Konzerte gab, die von der Kritik begeistert aufgenommen wurden.
Nur sechs Monate nach seiner Rückkehr aus den Vereinigten Staaten – am Ostersonntag 1905 – verunglückte Komzák tragisch, als er am Bahnhof von Baden versuchte, auf einen abfahrenden Zug zu springen und dabei unter dessen Räder geriet. Er wurde auf dem örtlichen Friedhof in Baden beigesetzt. Doch bereits im November desselben Jahres verlegte man seine sterblichen Überreste auf den Wiener Zentralfriedhof, wo er in der Gruppe der Ehrengräber – in unmittelbarer Nähe zu den Gräbern von Strauss und Beethoven – eine würdige letzte Ruhestätte fand. Auf dem Grabstein ist Komzák mit einem Dirigierstab in der Hand dargestellt.