"Huge data" : les deux tendances clés à surveiller en 2015

Début décembre se tenait à Montréal le plus grand rendez-vous annuel de la communauté du "machine learning", le NIPS (pour "Neural Information Processing Systems") Deux tendances-clefs se dégagent cette année : les algorithmes capables de traiter des volumes de données toujours plus importants (on parle maintenant de "huge data") et le retour en force des réseaux de neurones, ces méthodes qui cherchent à reproduire le fonctionnement de l’esprit humain, mais avec la puissance d’un supercalculateur.

Pour faire face au "déluge" des données, les entreprises ont dû s’adapter et investir dans des infrastructures distribuées afin de pouvoir stocker et appliquer des requêtes à un volume de données qui rendait obsolète l’utilisation des bases de données de type SQL. Mais, si ces données constituent une richesse indiscutable, les exploiter pleinement nécessite des stratégies mathématiques poussées, comme l'ont bien compris les géants du web. NIPS a ainsi été l’occasion de démontrer que le “machine learning” se définit de plus en plus comme la science de l'exploitation quantitative des données sans aucune limitation sur le type de méthodes utilisées.

Du "big data" au "huge data"

Une première intervention en séance plénière de Yurii Nesterov sur les méthodes d'optimisation sur des très grands volumes de données (Subgradient Methods for Huge-Scale Optimization Problems), rappelait ainsi que les “machine learners” doivent non seulement être capables de créer des algorithmes pouvant fonctionner avec le volume de données croissant auquel font face les entreprises, mais aussi faire preuve d’anticipation en s'intéressant aux problèmes d’échelles faisant intervenir plusieurs tera-octets de données. Il n’est donc pas surprenant de constater un forte croissance du nombre d’articles traitant de l’adaptation d’algorithmes classiques du machine learning aux architectures distribuées.

Le marketing relationnel est bouleversé par les" big data". Si un nombre croissant d’entreprises parvient à collecter des données issues des réseaux sociaux, savoir s’en servir efficacement pour, par exemple, optimiser la viralité d’une opération marketing est loin d’être évident. C’est pourtant le challenge relevé par deux articles qui étaient présentés : Tight Bounds for Influence in Diffusion Networks and Application to Bond Percolation and Epidemiology et Shaping Social Activity by Incentivising Users qui étudient les caractéristiques du réseau nécessaires à la diffusion d’une opération marketing virale et proposent une stratégie pour en maximiser la propagation à budget fixé. Ces méthodes, que 1000mercis a contribué à développer, sont aujourd’hui mises en production sur les opérations de collecte qu’elle mène pour ses clients sur Facebook : le budget publicitaire pour inciter les internautes à s’inscrire à l’opération marketing est ainsi concentré sur les individus ayant à la fois une forte appétence à la marque, mais aussi prédits par l’algorithme comme ayant un haut potentiel de viralisation. Les résultats sont significativement meilleurs que ceux des méthodes "myopes" qui raisonnent uniquement utilisateur par utilisateur.

Le retour en force des méthodes de réseaux de neurones

Les réseaux de neurones, sont historiquement au cœur des réflexions des conférences NIPS. Ainsi, à l’image du cerveau humain, plusieurs couches de neurones artificiels, reliées entre elles par des synapses ayant un poids plus ou moins important, sont entraînées par essai/erreur à réaliser une certaine tâche de prédiction. A la fin de l’apprentissage, les poids synaptiques sont réglés de manière optimale pour réussir la tâche en question. La force de ces méthodes est d’être capable d’apprendre par analogie sans que le modélisateur ait besoin d’émettre de règles a priori sur la relation entre données d’entrée et de sortie. La reconnaissance de l’écriture manuscrite en est un "cas d’école" classique : alors qu’il est très difficile d’émettre de règles précises sur la forme de telle ou telle lettre dans une image traduite en tableau de pixels, les réseaux de neurones sont quasi-infaillibles sur ce problème.

Ces méthodes recherchent ainsi le  "graal" de l’intelligence artificielle : concilier la capacité d’apprentissage d’un système biologique avec la puissance de calcul des outils modernes. La fluctuation de leur popularité est à l’image des immenses espoirs soulevés. Ayant connu un succès précoce dès les années 1960, elles sont ensuite plusieurs fois tombées dans l’oubli devant l’apparente impossibilité à surmonter certaines difficultés, avant de revenir sur le devant de la scène dès qu’une solution était proposée. Ces dernières années, elles ont de nouveau le vent en poupe (sous le nom tout neuf de "Deep Learning") et ont occupé une place de choix lors de NIPS 2014.

Les contributions sont très nombreuses sur ce sujet. Trois idées primées peuvent être néanmoins citées : l’introduction de la notion d’ « attention » dans le processus d’apprentissage de ces "mini-cerveaux" afin de concentrer uniquement les ressources d’apprentissages sur certains objets d’intérêt, le développement de réseaux de neurones multitâches capables de réutiliser la connaissance apprise sur une tâche particulière pour fonctionner sur une tâche similaire mais différente, et une nouvelle méthode à la pointe de la traduction automatique de textes.

Récemment, deux signes forts sont venus confirmer l’intérêt que leur portent les géants du web : la création par Facebook d’un laboratoire entièrement dédié à l’intelligence artificielle, dirigé par Yann Le Cun, un des pionniers des réseaux de neurones et le rachat en Janvier 2014 par Google pour plus de 400 millions de dollars de DeepMind, start-up londonienne quasi-exclusivement constituée de chercheurs en intelligence artificielle.

Ecrit en collaboration avec Remi Lemonnier, Chercheur en machine learning 1000mercis/ENS Cachan