Am 19. Juni 1842 wurde Carl Johann Adam Zeller im niederösterreichischen Markt St. Peter in der Au nahe Steyr geboren. Das Künstlerische Begabung war ihm bereits in die Wiege gelegt: Sein Urgrossvater wie auch sein Grossvater waren Musik-Schulmeister. Sein früh verstorbener Vater war Arzt. Bereits mit elf Jahren spielte er mehrere Instrumente und wurde schliesslich in die kaiserliche Hofkapelle in Wien als Sängerknabe aufgenommen. Mit seiner „engelhaften“ Stimme galt er als Liebling der Herzoginnen. Zeller absolvierte das Gymnasium, studierte Rechtswissenschaft sowie nebenbei Komposition bei Simon Sechter und leistete seinen Militärdienst ab.
Der Komposition widmete sich Zeller zeitlebens lediglich in seiner Freizeit, dies jedoch mit grösster Leidenschaft und Ehrgeiz. Sein erstes grösseres Werk war die komische Oper „Joconde“, die bei ihrer Uraufführung im Theater an der Wien im Jahre 1876 gut aufgenommen wurde. Zellers musikalische Bahn führte ihn bald von der komischen Oper zur Operette.
Mit „Der Vogelhändler“ von 1891 verbuchte Zeller seinen grössten Erfolg, sie zählt heute zu den beliebtesten Operetten überhaupt. Dass Zeller damit offenbar den Geschmack des Publikums traf, ist insofern bemerkenswert, als die goldene Ära der Operette zu jener Zeit bereits ihrem Ende entgegenging. Der „Vogelhändler“ überzeugt mit einem Reichtum an Melodien und eingängigen Liedern und Duetten, von denen mehrere zu wahren Ohrwürmern geworden sind. Eine weitere damals sehr erfolgreiche, heute jedoch weniger bekannte Operette Zellers ist „Der Obersteiger„. Das reizende Walzerlied „Sei nicht bös“ ist das populärste Stück daraus.
Carl Zeller verstarb am 17. August 1898 nach langer Krankheit in Baden bei Wien. In seinem Geburtshaus in St. Peter in der Au existiert seit 1992 ein Zeller-Muesum.