Leo Fall wurde am 2. Februar 1873 im mährischen Olmütz, dem heutigen Olomouc, geboren. Der Sohn eines Kapellmeisters zeigte früh musikalisches Talent. Bereits im Alter von 14 Jahren begann er sein Studium am Wiener Konservatorium. Dort zählte er zu den Schülern von Robert Fuchs, der auch andere spätere Grössen der Silbernen Operettenära wie Edmund Eysler und Leo Ascher unterrichtete.
Während seiner Studienzeit lebte Leo Fall zunächst im Hause der Eltern von Oscar Straus und spielte Violine in der Kapelle von Franz Lehárs Vater. Diese Zeit war geprägt von Begegnungen und Freundschaften mit Persönlichkeiten, die später bedeutende Namen in der Operettenwelt werden sollten. Eine dieser Verbindungen war die lebenslange Freundschaft mit Robert Stolz, der Leo Fall stets unterstützte. Nach Abschluss seines Studiums führte ihn sein Weg zunächst nach Berlin, später nach Hamburg und Köln, wo er jeweils als Kapellmeister tätig war. Im Jahr 1906 entschied sich Fall, freischaffender Komponist zu werden und kehrte nach Wien zurück.
Fall erlebte zunächst mehrere Rückschläge. Seine ernsthaften Werke, darunter die Opern „Frau Denise“ und „Irrlicht“, blieben weitgehend unbeachtet. Enttäuscht wandte sich Fall der Operette zu, jedoch auch hier erlebte er anfangs Misserfolge – „Der Rebell“ fand kaum Anklang. Doch zwei Jahre später, 1907, gelang ihm mit „Der fidele Bauer“ sein grosser Durchbruch.
Der erneute Versuch, mit „Der goldene Vogel“ eine Oper zu schreiben, blieb abermals erfolglos. Doch Falls Operetten erreichten eine Qualität, die sich mit jenen von Franz Lehár und Emmerich Kálmán messen konnten. Viele seiner Arien und Duette, darunter „Und der Himmel hängt voller Geigen“ oder „Rose von Stambul“, sind noch heute wohlbekannt. Am 16. September 1925 verstarb Leo Fall in Wien an einem Gallenleiden, kurz nach seiner Rückkehr von einer erfolgreichen Konzertreise durch Südamerika.