Ce fakir et yogi apparaît à Shirdi où il s'installe dans une mosquée ; peu à peu, il est considéré comme un saint par les hindous et les musulmans : en effet, il ne fait aucune différence entre les religions, et entre les castes. On lui prête de nombreux dons : guérisons, miracles (même après sa mort), toute une légende se construit autour de ce personnage mystique et humaniste qui s'est fait enterrer en 1918 dans un temple hindou de Shirdi.
De nos jours, nombreux sont les Indiens qui viennent ici pour lui rendre hommage ou recevoir sa bénédiction posthume.
Le cinéma hindi s'est inspiré de ce type de personnage, par exemple dans le célèbre film Guide (Vijay Anand, 1965).
Dans un style plus fantaisiste, on remarque la statue de Sai Baba de Shirdi qui redonne la vue à une aveugle interprétée par Nirupa Roy, dans cette chanson du film Amar Akbar Anthony (Manmohan Desai, 1977). C'est Rishi Kapoor qui "chante" cette chanson dévotionnelle sur la voix de Mohd. Rafi.