Josef „Pepi“ Hellmesberger wurde am 9. April 1955 in Wien geboren. Er war der Sohn des Wiener Violinisten und Komponisten Josef Hellmesberger Sen. Sein Vater unterrichtete ihn in Musik und im Geigenspiel; bereits im Alter von 15 Jahren wirkte Pepi im bekannten Quartett seines Vaters mit, wo er die zweite Geige spielte. Pepis Bruder Ferdinand war als Cellist ebenfalls Teil des väterlichen Ensembles.
Von 1870 bis 1873 war Hellmesberger Geiger beim Wiener Hofopernorchester. Um 1875 trat Hellmesberger den Militärdienst als Streich-Konzertmeister der Kapelle des 4. Infanterie-Regiments an. Wenig später wurde er Kapellmeister des Regiments Nr. 32. Ab 1878 war Hellmesberger Soloviolinist bei der Hofmusikkapelle und an der Hofoper selbst. Gleichzeitig unterrichtete er Violine am Konservatorium der Wiener Gesellschaft der Musikfreunde.
Joseph Hellmesberger wirkte zudem als Kapellmeister am Ringtheater. Bei der dortigen folgenschwerden Brandkatastrophe im Dezember 1881 konnte er sich mit viel Glück retten. Ab 1901 leitete er die Philharmonischen Konzerte als Nachfolger von Gustav Mahler. 1903 legte Hellmesberger sämtliche Ämter in Wien ab und ging nach Stuttgart, wo er die Stelle als Kapellmeister am Hoftheater antrat. Bereits nach einem Jahr kehrte Josef Hellmesberger wieder nach Wien zurück. Er erkrankte und starb am 26 April 1907 im Alter von erst 52 Jahren.
Als Komponist hinterliess Joseph Hellmesberger Jun. die beachtliche Anzahl von 22 Operetten, drei Balletten und eine Vielzahl an Einzelkompositionen.
