Project Mariner peut contrôler votre souris, rechercher des informations, récupérer des données et déposer des articles dans votre panier
Bref: Google a récemment dévoilé Gemini 2.0, la prochaine génération de sa chaîne d'outils GenAI. La société introduit progressivement plusieurs agents GenAI qui exploitent le nouveau modèle pour diverses tâches. L'un d'eux, Mariner, peut contrôler automatiquement les navigateurs Web pour récupérer des informations, effectuer des achats et effectuer d'autres actions.
Google a commencé les premiers tests sur un nouvel agent d'IA capable d'automatiser les tâches de navigation sur le Web. Même si l'entreprise admet que le logiciel n'est pas parfait et prend des précautions de sécurité, son déploiement pourrait soulever des questions sur l'avenir du Web.
Project Mariner, une extension pour une version expérimentale de Chrome, peut exécuter des commandes en plusieurs étapes pour parcourir des sites Web, utiliser la recherche Google, récupérer des informations spécifiées, faire du shopping, etc. L'entreprise affirme que l'agent peut aider à accomplir des tâches généralement fastidieuses pour les humains.
Dans un exemple, un testeur montre à Mariner une feuille de calcul répertoriant les noms de plusieurs entreprises et demande à l'IA de trouver chacune de leurs adresses e-mail de contact. Mariner recherche ensuite sur Google le site Web officiel de chaque entreprise, les parcourt, copie leurs e-mails de contact et les colle dans la fenêtre de discussion.
Une autre démonstration charge l'agent d'identifier le peintre impressionniste le plus célèbre, de récupérer une sélection de ses œuvres et d'ajouter une peinture similaire au panier Etsy d'un utilisateur. En réponse, il présente quelques tableaux de Vincent Van Gogh et s'arrête juste avant d'acheter une palette sur le site d'art.
Pour préserver la transparence, Mariner affiche l'intégralité de sa chaîne logique dans la fenêtre de discussion sur le côté droit de la fenêtre du navigateur. Les utilisateurs peuvent suspendre l'agent à tout moment et avoir le dernier mot avant de finaliser leurs achats. De plus, l'IA contrôle uniquement l'onglet actif de la fenêtre du navigateur.
Google admet que Mariner n'est pas extrêmement rapide ni parfaitement précis, on ne sait donc pas quand il pourrait être publié publiquement. La recherche de Van Gogh a duré environ cinq minutes et l'entreprise a dû accélérer la vidéo démontrant la récupération des e-mails de contact.
Mariner est probablement une version de test pour le projet Jarvis, un agent d'IA divulgué par The Information en octobre. Le rapport indiquait que Jarvis pouvait saisir du texte, prendre des captures d'écran, interpréter des informations et contrôler le curseur de la souris.
Il est intéressant de noter que Mariner ressemble à une idée récemment proposée par Mustafa Suleyman, PDG de Microsoft AI. Il estime que les assistants IA pourraient rendre obsolète la navigation Web manuelle d’ici quelques années et que les sites Web pourraient être repensés afin que les agents IA représentant les entreprises puissent parler aux agents IA représentant les clients.
D'autres nouveaux outils Gemini 2.0 peuvent décrire des objets du monde réel dans de nombreuses langues, aider les développeurs et conseiller les utilisateurs lorsqu'ils jouent à des jeux vidéo.