Ce gâteau a été inventé par Nicolas Stohrer, pâtissier de la reine Marie Leszcynska (épouse de Louis XV) et fille de Stanislas de Pologne. C’est pour ce dernier que Stohrer l’avait inventé quelques années plus tôt. Le roi (qui vivait en exil) avait reçu de son pays une brioche malheureusement desséchée dans le voyage. Le génial pâtissier eut l’idée de la rafraîchir en l’arrosant de vin de malaga (d’autres assurent que c’était de la vodka) et en la fourrant de crème pâtissière et de raisins secs. Ce n’est que bien plus tard qu’on remplaça le vin par du rhum et qu’on remplaça la crème par de la chantilly.
Stanislas, qui venait de lire les Contes des Mille et Une Nuits dans la traduction nouvelle de Galland, surnomma ce gâteau, le Ali Baba (plus tard, simplement baba).