Yahoo Pipes: Colonne vertébrale d’une plateforme de veille multilingue, performante et gratuite

Publié le 12 juillet 2011 par Terryzim

Voici l’article que j’ai publié dans l’ebook « Regards croisés sur la veille ». N’hésitez pas à commenter, critiquer et à me donner vos usages qui permettraient de compléter la méthode que je vous présente:

———————————–

La veille est un processus qui implique l’utilisation de renseignements accessibles au public afin d’apprendre diverses choses sur son environnement (ses concurrents, ses partenaires, ses fournisseurs, son cadre législatif, les innovations technologiques, les  évolutions sociétales,…)

Afin qu’ils soient utiles, ces renseignement doivent être transformés en informations qui éclaireront sur les menaces ou les opportunités. Ces informations n’ont de valeurs que si elles amènent à des prises de décision qui induisent des actions ou des changements de la part de l’entreprise. Ce processus de veille est souvent rapproché de celui du renseignement (militaire) dont il tire ses origines.

Processus habituellement présenté sous forme cyclique :


Christophe Deschamps, dans l’avant-propos du livre blanc « Méthodes d’analyse appliquées à l’intelligence économique » écrit « A quelques exceptions près, les ouvrages consacrés à la veille stratégique ou à l’intelligence économique passent de la phase «Recherche d’information » à la phase « Diffusion/communication » en « glissant » sur celle, pourtant essentielle d’une Analyse, qu’on ne sait trop « par quel bout prendre ».

Je partage ce constat et je vais un peu plus loin en disant que cela se retrouve également dans les usages en entreprise mais aussi dans le business model de la veille en France, trop axé sur le logiciel de collecte et de diffusion.

Les réseaux sociaux et autres « outils 2.0 », qu’ils soient publics ou d’entreprises, révolutionnent les possibilités de la veille, tant sur la collecte de l’information que sur sa diffusion, la valeur ajoutée est donc plus que jamais sur l’expression des besoins, le sourcing et l’analyse.
Paradoxalement, ces nouveaux outils ont remis l’humain au coeur de la valeur. Pour illustrer mon propos : que choisissez-vous entre quelques excellents « curateurs », experts d’un domaine, et un corpus de plusieurs dizaines de milliers sources ?

L’esprit de cet article est donc d’inciter à consacrer plus de temps et de budget à la ré-interrogation constante de l’expression des besoins, au sourcing, au renseignement humain, et à l’analyse qui passe par le développement de l’intelligence collective au sein et en dehors de l’entreprise.

Voici donc un tutoriel, qui se cantonnera aux bases, sur Yahoo Pipes, un outil gratuit et robuste qui, avec de la méthode, un peu d’astuce et une connexion à d’autres outils gratuits peut satisfaire parfaitement les besoins de collecte, de tri et de diffusion d’une grande partie des entreprises, notamment des PME.

Présentation de Yahoo! Pipes

Yahoo! Pipes est une application web créée par Yahoo en 2007. La version beta a été inaugurée le 7 février 2007. Elle bénéficie d’un véritable succès d’estime, preuve en est la communauté très active sur son site, faisant même dire à Tim O’Reilly qu’« un pas important dans l’Internet venait d’être franchi ». Malgré cela, on ne peut pas dire que Yahoo fasse des efforts démesurés de communication sur son outil. Cela est peut-être dû au fait que le service n’est pas intuitif, de prime abord.
L’idée est de mettre à disposition une interface graphique simple permettant de faire de la programmation grâce à des pipes. « Un «pipe» (tuyau) est un canal de communication entre deux programmes, reliant la sortie de l’un à l’entrée de l’autre. L’idée étant de réaliser des tâches complexes en chaînant une succession de programmes simples ».

Le service permet de faire communiquer différents éléments en permettant de les combiner, les trier, les conditionner pour arriver à un flux unique.

Présentation d’un « pipe » :

Les éléments mis à disposition sont très variés. Citons en particulier, le flux RSS, élément principal de Pipes.
Mais on trouve aussi des données XML, du Regex, des modules de recherche, des champs de saisie, des boucles, des compteurs, des modules de traduction, la possibilité de géolocaliser les informations…

Le tout compose une plateforme de gestion des flux. Les possibilités de combiner plusieurs « pipes » entre eux ainsi que de les partager ou bien d’utiliser des « pipes » créés par un autre utilisateur en font un outil très puissant. Pour preuve voici un flux contenant plus de 300 sources:

Pour l’utiliser, il faut disposer d’un compte Yahoo. Une fois le compte créé et connecté, cliquez sur le bouton « Create a pipe ».

Voici les étapes et les six modules que nous utiliserons pour un usage basique :

« Fetch feed » :

Glissez-déposez le module « Fetch feed » sur la page blanche et collez les différents flux RSS que vous voulez suivre dans le module. Si on insère plusieurs flux dans ce module, il n’en sortira qu’un, donc c’est un excellent outil pour fusionner les flux RSS.
Pour voir le résultat du module, on doit cliquer sur le haut, celui-ci va devenir orangé et les résultats vont apparaître en bas de page, dans la zone grisée.

« Union » :

Le module « Union » permet de fusionner les flux provenant de plusieurs modules.

« Filter » :

Les filtres permettent de bloquer des articles, ou à l’inverse de les laisser passer. Ces filtres peuvent être posés à partir de mots contenus :
- dans la description des articles contenus dans le flux ;
- dans les titres des articles du flux ;
- dans l’adresse du site internet d’où provient le flux
(pratique pour filtrer des sources inadéquates remontées régulièrement, par les alertes Google par exemple).

Ainsi dans cet exemple, nous prenons le flux RSS du site du journal Le Monde pour pouvoir le filtrer.
Avec le premier filtre, nous permettons seulement aux articles contenant le terme « intelligence économique » dans leur titre de passer. Dans le second filtre, nous permettons seulement aux articles (traitant donc d’intelligence économique) ne possédant pas le terme « espionnage industriel » dans leur titre de passer. Nous pouvons ajouter des règles en cliquant sur « Rules » et élargir les restrictions ou les autorisations en choisissant le titre ET la description. En faisant ainsi, nous avons un flux RSS qui ne donnera que les articles du Monde traitant d’intelligence économique sans que ne soient évoquées les problématiques d’espionnage industriel.

« Unique » :

Module permettant de supprimer les éventuels doublons. Dans l’exemple qui suit, il y a une succession de 3 modules « Uniques ». En effet, l’outil ne permet pas de filtrer dans la globalité. Il faut donc choisir à chaque étape ce sur quoi porte le filtre, et lorsque l’on veut filtrer le tout, superposer les filtres qui peuvent porter sur les titres, les descriptions ainsi que les URL identiques. Cette
façon de faire permet d’éviter les doublons en prenant en compte l’intégralité du flux.

« Sort » :

Permet de ranger les articles contenus dans le flux afin qu’ils soient classés du plus récent au plus ancien, il faut choisir Sort by « pubDate » in « descending » order.

« Truncate » :

Permet de limiter le flux à un nombre d’objets déterminé, ceci afin de ne pas l’alourdir avec des articles parfois vieux de plusieurs années.

Yahoo! Pipes est un outil puissant, néanmoins, le nombre de sources peut grossir considérablement dans le cadre de la mise en place de certaines veilles. Il faut dans ce cas alléger les flux car ceux-ci peuvent ne plus se charger. Nous pouvons réduire le nombre d’objets au sein du flux avec le module « Truncate ». En faisant cela, on augmente le turn-over des informations qu’il contient et donc la fréquence de consultation de la part du veilleur.

L’outil possède un module de traduction des flux utilisant la technologie de traduction Yahoo! : Babelfish. Mais ce module ne donne pas entière satisfaction car :
- Il n’arrive parfois pas à traduire des objets de certains flux.
- La traduction n’est pas toujours compréhensible.
- L’article ouvert n’est pas traduit.

Voici un pipe standard que vous pouvez vous approprier pour commencer : http://pipes.yahoo.com/pipes/pipe.
edit?_id=35aa73fd9e2c5ada6c69de9db84c4472

N’oubliez pas de sauvegarder votre travail en haut à droite de la page. Pour acquérir le flux RSS créé, retournez sur la page d’accueil du tuyau créé et cliquez sur « Get the RSS »:

D’autres outils gratuits, une fois « plugés » à Yahoo! Pipes vont démultiplier les possibilités de ce dernier.

Je ne détaillerai pas l’usage de ces outils dont on peut trouver d’excellents tutoriaux par ailleurs mais je vous en donne une liste non exhaustive:

Collecte :

- Alertes Google : permet de surveiller l’actualité en temps réel de la presse et de certains réseaux sociaux, les blogs, les vidéos et les discussions crawlés par le puissant Google.
- TwitterSearch : permet de créer un flux RSS pour surveiller l’activité sur Twitter.
- Diphur : permet de créer un flux RSS sur un site qui n’en propose pas.

Tri :

Les opérateurs booléens dans la constitution des alertes permettent de filtrer à la source.

Traduction :

Mloovi, un excellent outil de traduction de flux RSS utilisant l’API de Google et permettant de traduire directement dans Yahoo! Pipes a disparu. Dans l’attente de l’arrivée d’un équivalent fiable, nous devons nous contenter d’utiliser Google Reader, ce qui nous oblige à utiliser ce lecteur RSS dans le cadre d’une veille à l’international. Pour nous consoler, rappelons que Google permet de traduire plus qu’honorablement et gratuitement 53 langues.

Diffusion :

Nous pouvons utiliser le flux dans un lecteur RSS mais certains préfèrent recevoir périodiquement une newsletter dans leurs boîtes mail. Pour créer une newsletter automatique, il faut aller dans Feedburner.

Nous pouvons également créer un tableau de bord de veille en alimentant un portail Netvibes avec les flux RSS crée.

Stockage :

De nombreux articles ou pages web peuvent disparaitre, pour éviter de perdre l’information, il peut être judicieux d’aspirer ces pages et de les stocker.
Scrapbook, un add-on Mozilla permet de faire cela. Il propose également un moteur de recherche performant qui permet de retrouver des articles au sein de la base de données créée. Ce moteur de recherche est également pratique car il surligne en jaune, dans les pages, les requêtes effectuées.

Partage de la base de données au sein d’un groupe de travail :

Il est possible de mettre à disposition la base de données constituée par le veilleur à un groupe de travail sur un dossier partagé. Il suffit que chacun des collaborateurs soit équipé de Scrapbook pour bénéficier du moteur de recherche et que le dossier de partage de la base se trouve sur Dropbox.

Schéma global de la plateforme de veille gratuite.