Article de fond: Test Driven Marketing (T)

1999 fut une grosse année pour les publications Harvard Business School. Dans les années passées, ils avaient vu leur "business model" - vente de livres, journaux, articles, études de cas, et autres - se transformer de vente sur catalogue papier vers une boutique en ligne, pour aujourd'hui nécessiter une refonte totale du site web.

Le nouveau site web d'HSBP était au top. En plus d'un système de recherche plutôt avancé, le nouveau design du site proposait aussi des forums communautaires et une section appelée "Idées en route", qui permettait aux utilisateurs de télécharger partout dans le monde des messages audio issus de penseurs influant dans le monde du business. Malgré le rapide développement du projet, le cahier des charges flou, et la gestion de projet hésitante, le nouveau site fonctionnait correctement. Dans les leaders du .com, peu d'autres sites pouvaient en dire autant à l'époque.

Une des clés du succès du nouveau site des publications Harvard Business School c'était la prise en compte des tests et de l'assurance qualité dans leur cycle de développement. Les analystes développèrent toutes sortes de tests qui couvraient virtuellement chaque aspect du site. Ils travaillèrent en étroite collaboration avec le département logistique d'HSBP pour s'assurer que les tests - recherche, validation, gestion des clients, etc. - étaient effectués, et l'étaient souvent.

Cette stratégie de tests intensifs validait que le site fonctionnerait comme prévu dans les années qui allaient suivre. Et c'est ce qu'il se passa, tout du moins avant un jour de 2002. Ce jour là, un des cas de test passa en échec : le "test de résultat unique".

Le "Test de résultat unique" faisait partie d'un trio de cas de tests pensés pour tester la logique de recherche du système. Tout comme le test "aucun résultat", qui revenait à effectuer une recherche sur "asdfasdf" pour ne produire aucun résultat, et le test "plusieurs résultats", qui consistait à effectuer une recherche sur "management" pour produire plusieurs pages de résultats, le "Test de résultat unique" effectuait une recherche - en l'occurrence "monkey" - pour vérifier que le système retournait exactement un résultat.

Et pendant trois ans, "monkey" retourna exactement un résultat : Who's Got The Monkey? par William Oncken Jr. écrit en 1974. L'article d'Oncken est destiné aux managers qui "se retrouvent surchargé de travail pendant que leur subordonnés baillent aux corneilles". Quant aux singes, ils sont simplement l'analogie du travail, et non pas ceux pour lesquels les managers devraient soutraiter le travail. Apparement, Oncken n'était pas si en avance que ça sur son temps.

En tout cas, un jour de 2002, la recherche "monkey" retourna deux résultats. Le premier, comme attendu était Who's Got The Monkey?. Le deuxième était Who's Got The Monkey Now?, une réédition du Best seller de HBSP : Who's Got The Monkey?. Bien sûr, le "Test de résultat unique" nécessitait une simple mise à jour des développeurs, rien de bien méchant. Mais, intrigués, ils décidèrent de regarder un peu plus en détail ...

Dans le cadre de la stratégie de tests intensifs dont on parlait plus tôt, l'équipe logistique d'HSBP remplissait son temps libre en exécutant des tests unitaires. D'abord ils exécutaient le test "aucun résultat" puis le test "plusieurs résultats" et ensuite le "Test de résultat unique". Ensuite, ils ajoutaient ce résultat unique - Who's Got The Monkey?- au panier, créaient un nouveau compte client, soumettaient la commande et la validaient. Bien sûr, ils ne la validaient pas totalement - chacun savait que les commandes pour "Mr test test" et "123 rue du test" n'étaient pas validées. Chacun ... ou presque, le département marketing lui, l'ignorait.

Quand le département marketing d'HSBP analysa les courbes de ventes, ils remarquèrent une tendance assez intéressante. Who's Got The Monkey? était LE best seller! Et comme tout département marketing aurait fait, ils ont foncé. HBSP créa des brochures et des produits promotionnels du livre. Ils sont même allés jusqu'à repackager cette boite de singes en plastiques en "les singes de Who's Got The Monkey?". Et finalement, en 2002, la version mise à jour de  Who's Got The Monkey? fut publiée par HSBP, cette même version fut retrouvée par le système de recherche qui, au final, causa l'échec du "Test de résultat unique".

Bien sûr, à ce moment, il était trop tard pour agir. Le succès illusoire de Who's got the monkey? avait déjà été largement communiqué comme une réalité. Avec toutes les critiques et commentaires qui en découlaient (dont beaucoup sont toujours visibles) ça aurait même pu devenir un vrai best seller. Inutile de dire que HSBP a depuis changé sa politique de tests intensifs.