SAN FRANCISCO, 8 septembre (Reuters) – En septembre de l’année dernière, Google (GOOGL.O) L’unité cloud s’est penchée sur l’utilisation de l’intelligence artificielle pour aider une entreprise financière à décider à qui prêter de l’argent.
Il a rejeté l’idée du client après des semaines de discussions internes, jugeant le projet trop risqué sur le plan éthique, car la technologie de l’IA pourrait perpétuer des préjugés comme ceux liés à la race et au sexe.
Depuis le début de l’année dernière, Google a également bloqué de nouvelles fonctionnalités d’IA analysant les émotions, craignant l’insensibilité culturelle, tandis que Microsoft (MSFT.O) logiciel restreint imitant les voix et IBM (IBM.N) a rejeté une demande de client pour un système avancé de reconnaissance faciale.
Toutes ces technologies ont été maîtrisées par des panels de dirigeants ou d’autres dirigeants, selon des entretiens avec les chefs de l’éthique de l’IA des trois géants américains de la technologie.
Rapportés ici pour la première fois, leurs vetos et les délibérations qui les ont menés reflètent une volonté naissante à l’échelle de l’industrie d’équilibrer la poursuite de systèmes d’IA lucratifs avec une plus grande considération de la responsabilité sociale.
“Il existe des opportunités et des préjudices, et notre travail consiste à maximiser les opportunités et à minimiser les préjudices”, a déclaré Tracy Pizzo Frey, qui siège à deux comités d’éthique chez Google Cloud en tant que directrice générale de l’IA responsable.
Les jugements peuvent être difficiles.
Microsoft, par exemple, a dû équilibrer l’avantage de l’utilisation de sa technologie de mimétisme vocal pour restaurer la parole des personnes altérées par rapport aux risques tels que l’activation de deepfakes politiques, a déclaré Natasha Crampton, responsable de l’IA de l’entreprise.
Les militants des droits de l’homme affirment que les décisions ayant des conséquences potentiellement importantes pour la société ne devraient pas être prises uniquement en interne. Ils soutiennent que les comités d’éthique ne peuvent pas être vraiment indépendants et que leur transparence publique est limitée par les pressions concurrentielles.
Jascha Galaski, responsable du plaidoyer à l’Union des libertés civiles pour l’Europe, considère le contrôle externe comme la voie à suivre, et les autorités américaines et européennes établissent en effet des règles pour la zone naissante.
Si les comités d’éthique de l’IA des entreprises “devenaient vraiment transparents et indépendants – et tout cela est très utopique – alors cela pourrait être encore mieux que toute autre solution, mais je ne pense pas que ce soit réaliste”, a déclaré Galaski.
Les entreprises ont déclaré qu’elles accueilleraient favorablement une réglementation claire sur l’utilisation de l’IA, et que cela était essentiel à la fois pour la confiance des clients et du public, à l’instar des règles de sécurité automobile. Ils ont dit qu’il était également dans leur intérêt financier d’agir de manière responsable.
Ils souhaitent cependant que toutes les règles soient suffisamment flexibles pour suivre l’innovation et les nouveaux dilemmes qu’elle crée.
Parmi les considérations complexes à venir, IBM a déclaré à Reuters que son comité d’éthique de l’IA avait commencé à discuter de la manière de contrôler une frontière émergente : les implants et les dispositifs portables qui relient les ordinateurs au cerveau.
De telles neurotechnologies pourraient aider les personnes handicapées à contrôler leurs mouvements, mais soulèvent des inquiétudes telles que la possibilité que des pirates informatiques manipulent des pensées, a déclaré Christina Montgomery, responsable de la confidentialité d’IBM.
L’IA PEUT VOIR VOTRE DOULEUR
Les entreprises technologiques reconnaissent qu’il y a à peine cinq ans, elles lançaient des services d’IA tels que les chatbots et le marquage de photos avec peu de garanties éthiques, et luttaient contre les abus ou les résultats biaisés avec des mises à jour ultérieures.
Mais alors que l’examen politique et public des défaillances de l’IA augmentait, Microsoft en 2017 et Google et IBM en 2018 ont créé des comités d’éthique pour examiner les nouveaux services dès le départ.
Google a déclaré avoir été confronté à son dilemme en matière de prêt d’argent en septembre dernier lorsqu’une société de services financiers a estimé que l’IA pouvait mieux évaluer la solvabilité des personnes que d’autres méthodes.
Le projet semblait bien adapté à Google Cloud, dont l’expertise dans le développement d’outils d’IA qui aident dans des domaines tels que la détection de transactions anormales a attiré des clients comme Deutsche Bank (DBKGn.DE), HSBC (HSBA.L) et BNY Mellon (BK.N).
L’unité de Google prévoyait que la notation de crédit basée sur l’IA pourrait devenir un marché valant des milliards de dollars par an et voulait s’implanter.
Cependant, son comité d’éthique composé d’une vingtaine de gestionnaires, de chercheurs en sciences sociales et d’ingénieurs qui examinent les accords potentiels a voté à l’unanimité contre le projet lors d’une réunion en octobre, a déclaré Pizzo Frey.
Le système d’IA aurait besoin d’apprendre des données et des modèles passés, a conclu le comité, et risquait ainsi de répéter des pratiques discriminatoires du monde entier contre les personnes de couleur et d’autres groupes marginalisés.
De plus, le comité, connu en interne sous le nom de “Lemonaid”, a adopté une politique visant à ignorer toutes les transactions de services financiers liées à la solvabilité jusqu’à ce que ces problèmes puissent être résolus.
Lemonaid avait rejeté trois propositions similaires au cours de l’année précédente, notamment celles d’une société de cartes de crédit et d’un prêteur commercial, et Pizzo Frey et son homologue des ventes étaient impatients d’obtenir une décision plus large sur la question.
Google a également déclaré que son deuxième comité d’éthique du Cloud, connu sous le nom de Iced Tea, avait cette année mis en examen un service publié en 2015 pour catégoriser les photos de personnes selon quatre expressions : joie, tristesse, colère et surprise.
Cette décision fait suite à une décision rendue l’année dernière par le comité d’éthique de l’entreprise de Google, l’Advanced Technology Review Council (ATRC), empêchant de nouveaux services liés à l’émotion de lecture.
L’ATRC – plus d’une douzaine de cadres supérieurs et d’ingénieurs – a déterminé que déduire des émotions pouvait être insensible, car les indices faciaux sont associés différemment aux sentiments selon les cultures, entre autres raisons, a déclaré Jen Gennai, fondatrice et responsable de l’équipe d’innovation responsable de Google.
Iced Tea a bloqué 13 émotions prévues pour l’outil Cloud, y compris l’embarras et le contentement, et pourrait bientôt abandonner complètement le service au profit d’un nouveau système qui décrirait des mouvements tels que froncer les sourcils et sourire, sans chercher à les interpréter, Gennai et Pizzo Frey mentionné.
VOIX ET VISAGES
Microsoft, quant à lui, a développé un logiciel capable de reproduire la voix de quelqu’un à partir d’un court échantillon, mais le panel des utilisations sensibles de l’entreprise a ensuite passé plus de deux ans à débattre de l’éthique autour de son utilisation et a consulté le président de l’entreprise Brad Smith, a déclaré à Reuters le responsable principal de l’IA Crampton.
Elle a déclaré que le panel – des spécialistes dans des domaines tels que les droits de l’homme, la science des données et l’ingénierie – avait finalement donné son feu vert à la publication complète de Custom Neural Voice en février de cette année. Mais il a imposé des restrictions à son utilisation, notamment le fait que le consentement des sujets soit vérifié et qu’une équipe avec des « champs d’IA responsables » formés à la politique de l’entreprise approuve les achats.
Le conseil d’administration d’IBM sur l’IA, composé d’une vingtaine de chefs de département, a été confronté à son propre dilemme lorsqu’au début de la pandémie de COVID-19, il a examiné une demande d’un client visant à personnaliser la technologie de reconnaissance faciale pour détecter les fièvres et les couvre-visages.
Montgomery a déclaré que le conseil d’administration, qu’elle copréside, a décliné l’invitation, concluant que les vérifications manuelles suffiraient avec moins d’intrusion dans la vie privée, car les photos ne seraient conservées pour aucune base de données d’IA.
Six mois plus tard, IBM a annoncé qu’il arrêtait son service de reconnaissance faciale.
AMBITIONS NON ATTEINTES
Dans le but de protéger la vie privée et d’autres libertés, les législateurs de l’Union européenne et des États-Unis poursuivent des contrôles de grande envergure sur les systèmes d’IA.
La loi de l’UE sur l’intelligence artificielle, qui devrait être adoptée l’année prochaine, interdirait la reconnaissance faciale en temps réel dans les espaces publics et obligerait les entreprises technologiques à examiner les applications à haut risque, telles que celles utilisées pour l’embauche, la notation de crédit et l’application de la loi. Lire la suite
Le membre du Congrès américain Bill Foster, qui a tenu des auditions sur la façon dont les algorithmes font avancer la discrimination dans les services financiers et le logement, a déclaré que de nouvelles lois régissant l’IA garantiraient un terrain d’égalité pour les fournisseurs.
« Quand vous demandez à une entreprise de réduire ses bénéfices pour atteindre ses objectifs sociétaux, elle vous répond : « Qu’en est-il de nos actionnaires et de nos concurrents ? » C’est pourquoi vous avez besoin d’une réglementation sophistiquée”, a déclaré le démocrate de l’Illinois.
“Il peut y avoir des domaines qui sont si sensibles que vous verrez des entreprises technologiques rester délibérément à l’écart jusqu’à ce qu’il y ait des règles de circulation claires.”
En effet, certaines avancées de l’IA peuvent simplement être suspendues jusqu’à ce que les entreprises puissent contrer les risques éthiques sans consacrer d’énormes ressources d’ingénierie.
Après que Google Cloud a rejeté la demande d’IA financière personnalisée en octobre dernier, le comité Lemonaid a déclaré à l’équipe commerciale que l’unité avait pour objectif de commencer un jour à développer des applications liées au crédit.
Premièrement, la recherche sur la lutte contre les préjugés injustes doit rattraper les ambitions de Google Cloud d’accroître l’inclusion financière grâce à la technologie “hautement sensible”, a-t-il déclaré dans la politique diffusée au personnel.
« Jusque-là, nous ne sommes pas en mesure de déployer des solutions. »
Reportage de Paresh Dave et Jeffrey Dastin; Montage par Kenneth Li et Pravin Char
Nos normes : Les principes de confiance de Thomson Reuters.
.
SAN FRANCISCO, 8 septembre (Reuters) – En septembre de l’année dernière, Google (GOOGL.O) L’unité cloud s’est penchée sur l’utilisation de l’intelligence artificielle pour aider une entreprise financière à décider à qui prêter de l’argent.
Il a rejeté l’idée du client après des semaines de discussions internes, jugeant le projet trop risqué sur le plan éthique, car la technologie de l’IA pourrait perpétuer des préjugés comme ceux liés à la race et au sexe.
Depuis le début de l’année dernière, Google a également bloqué de nouvelles fonctionnalités d’IA analysant les émotions, craignant l’insensibilité culturelle, tandis que Microsoft (MSFT.O) logiciel restreint imitant les voix et IBM (IBM.N) a rejeté une demande de client pour un système avancé de reconnaissance faciale.
Toutes ces technologies ont été maîtrisées par des panels de dirigeants ou d’autres dirigeants, selon des entretiens avec les chefs de l’éthique de l’IA des trois géants américains de la technologie.
Rapportés ici pour la première fois, leurs vetos et les délibérations qui les ont menés reflètent une volonté naissante à l’échelle de l’industrie d’équilibrer la poursuite de systèmes d’IA lucratifs avec une plus grande considération de la responsabilité sociale.
“Il existe des opportunités et des préjudices, et notre travail consiste à maximiser les opportunités et à minimiser les préjudices”, a déclaré Tracy Pizzo Frey, qui siège à deux comités d’éthique chez Google Cloud en tant que directrice générale de l’IA responsable.
Les jugements peuvent être difficiles.
Microsoft, par exemple, a dû équilibrer l’avantage de l’utilisation de sa technologie de mimétisme vocal pour restaurer la parole des personnes altérées par rapport aux risques tels que l’activation de deepfakes politiques, a déclaré Natasha Crampton, responsable de l’IA de l’entreprise.
Les militants des droits de l’homme affirment que les décisions ayant des conséquences potentiellement importantes pour la société ne devraient pas être prises uniquement en interne. Ils soutiennent que les comités d’éthique ne peuvent pas être vraiment indépendants et que leur transparence publique est limitée par les pressions concurrentielles.
Jascha Galaski, responsable du plaidoyer à l’Union des libertés civiles pour l’Europe, considère le contrôle externe comme la voie à suivre, et les autorités américaines et européennes établissent en effet des règles pour la zone naissante.
Si les comités d’éthique de l’IA des entreprises “devenaient vraiment transparents et indépendants – et tout cela est très utopique – alors cela pourrait être encore mieux que toute autre solution, mais je ne pense pas que ce soit réaliste”, a déclaré Galaski.
Les entreprises ont déclaré qu’elles accueilleraient favorablement une réglementation claire sur l’utilisation de l’IA, et que cela était essentiel à la fois pour la confiance des clients et du public, à l’instar des règles de sécurité automobile. Ils ont dit qu’il était également dans leur intérêt financier d’agir de manière responsable.
Ils souhaitent cependant que toutes les règles soient suffisamment flexibles pour suivre l’innovation et les nouveaux dilemmes qu’elle crée.
Parmi les considérations complexes à venir, IBM a déclaré à Reuters que son comité d’éthique de l’IA avait commencé à discuter de la manière de contrôler une frontière émergente : les implants et les dispositifs portables qui relient les ordinateurs au cerveau.
De telles neurotechnologies pourraient aider les personnes handicapées à contrôler leurs mouvements, mais soulèvent des inquiétudes telles que la possibilité que des pirates informatiques manipulent des pensées, a déclaré Christina Montgomery, responsable de la confidentialité d’IBM.
L’IA PEUT VOIR VOTRE DOULEUR
Les entreprises technologiques reconnaissent qu’il y a à peine cinq ans, elles lançaient des services d’IA tels que les chatbots et le marquage de photos avec peu de garanties éthiques, et luttaient contre les abus ou les résultats biaisés avec des mises à jour ultérieures.
Mais alors que l’examen politique et public des défaillances de l’IA augmentait, Microsoft en 2017 et Google et IBM en 2018 ont créé des comités d’éthique pour examiner les nouveaux services dès le départ.
Google a déclaré avoir été confronté à son dilemme en matière de prêt d’argent en septembre dernier lorsqu’une société de services financiers a estimé que l’IA pouvait mieux évaluer la solvabilité des personnes que d’autres méthodes.
Le projet semblait bien adapté à Google Cloud, dont l’expertise dans le développement d’outils d’IA qui aident dans des domaines tels que la détection de transactions anormales a attiré des clients comme Deutsche Bank (DBKGn.DE), HSBC (HSBA.L) et BNY Mellon (BK.N).
L’unité de Google prévoyait que la notation de crédit basée sur l’IA pourrait devenir un marché valant des milliards de dollars par an et voulait s’implanter.
Cependant, son comité d’éthique composé d’une vingtaine de gestionnaires, de chercheurs en sciences sociales et d’ingénieurs qui examinent les accords potentiels a voté à l’unanimité contre le projet lors d’une réunion en octobre, a déclaré Pizzo Frey.
Le système d’IA aurait besoin d’apprendre des données et des modèles passés, a conclu le comité, et risquait ainsi de répéter des pratiques discriminatoires du monde entier contre les personnes de couleur et d’autres groupes marginalisés.
De plus, le comité, connu en interne sous le nom de “Lemonaid”, a adopté une politique visant à ignorer toutes les transactions de services financiers liées à la solvabilité jusqu’à ce que ces problèmes puissent être résolus.
Lemonaid avait rejeté trois propositions similaires au cours de l’année précédente, notamment celles d’une société de cartes de crédit et d’un prêteur commercial, et Pizzo Frey et son homologue des ventes étaient impatients d’obtenir une décision plus large sur la question.
Google a également déclaré que son deuxième comité d’éthique du Cloud, connu sous le nom de Iced Tea, avait cette année mis en examen un service publié en 2015 pour catégoriser les photos de personnes selon quatre expressions : joie, tristesse, colère et surprise.
Cette décision fait suite à une décision rendue l’année dernière par le comité d’éthique de l’entreprise de Google, l’Advanced Technology Review Council (ATRC), empêchant de nouveaux services liés à l’émotion de lecture.
L’ATRC – plus d’une douzaine de cadres supérieurs et d’ingénieurs – a déterminé que déduire des émotions pouvait être insensible, car les indices faciaux sont associés différemment aux sentiments selon les cultures, entre autres raisons, a déclaré Jen Gennai, fondatrice et responsable de l’équipe d’innovation responsable de Google.
Iced Tea a bloqué 13 émotions prévues pour l’outil Cloud, y compris l’embarras et le contentement, et pourrait bientôt abandonner complètement le service au profit d’un nouveau système qui décrirait des mouvements tels que froncer les sourcils et sourire, sans chercher à les interpréter, Gennai et Pizzo Frey mentionné.
VOIX ET VISAGES
Microsoft, quant à lui, a développé un logiciel capable de reproduire la voix de quelqu’un à partir d’un court échantillon, mais le panel des utilisations sensibles de l’entreprise a ensuite passé plus de deux ans à débattre de l’éthique autour de son utilisation et a consulté le président de l’entreprise Brad Smith, a déclaré à Reuters le responsable principal de l’IA Crampton.
Elle a déclaré que le panel – des spécialistes dans des domaines tels que les droits de l’homme, la science des données et l’ingénierie – avait finalement donné son feu vert à la publication complète de Custom Neural Voice en février de cette année. Mais il a imposé des restrictions à son utilisation, notamment le fait que le consentement des sujets soit vérifié et qu’une équipe avec des « champs d’IA responsables » formés à la politique de l’entreprise approuve les achats.
Le conseil d’administration d’IBM sur l’IA, composé d’une vingtaine de chefs de département, a été confronté à son propre dilemme lorsqu’au début de la pandémie de COVID-19, il a examiné une demande d’un client visant à personnaliser la technologie de reconnaissance faciale pour détecter les fièvres et les couvre-visages.
Montgomery a déclaré que le conseil d’administration, qu’elle copréside, a décliné l’invitation, concluant que les vérifications manuelles suffiraient avec moins d’intrusion dans la vie privée, car les photos ne seraient conservées pour aucune base de données d’IA.
Six mois plus tard, IBM a annoncé qu’il arrêtait son service de reconnaissance faciale.
AMBITIONS NON ATTEINTES
Dans le but de protéger la vie privée et d’autres libertés, les législateurs de l’Union européenne et des États-Unis poursuivent des contrôles de grande envergure sur les systèmes d’IA.
La loi de l’UE sur l’intelligence artificielle, qui devrait être adoptée l’année prochaine, interdirait la reconnaissance faciale en temps réel dans les espaces publics et obligerait les entreprises technologiques à examiner les applications à haut risque, telles que celles utilisées pour l’embauche, la notation de crédit et l’application de la loi. Lire la suite
Le membre du Congrès américain Bill Foster, qui a tenu des auditions sur la façon dont les algorithmes font avancer la discrimination dans les services financiers et le logement, a déclaré que de nouvelles lois régissant l’IA garantiraient un terrain d’égalité pour les fournisseurs.
« Quand vous demandez à une entreprise de réduire ses bénéfices pour atteindre ses objectifs sociétaux, elle vous répond : « Qu’en est-il de nos actionnaires et de nos concurrents ? » C’est pourquoi vous avez besoin d’une réglementation sophistiquée”, a déclaré le démocrate de l’Illinois.
“Il peut y avoir des domaines qui sont si sensibles que vous verrez des entreprises technologiques rester délibérément à l’écart jusqu’à ce qu’il y ait des règles de circulation claires.”
En effet, certaines avancées de l’IA peuvent simplement être suspendues jusqu’à ce que les entreprises puissent contrer les risques éthiques sans consacrer d’énormes ressources d’ingénierie.
Après que Google Cloud a rejeté la demande d’IA financière personnalisée en octobre dernier, le comité Lemonaid a déclaré à l’équipe commerciale que l’unité avait pour objectif de commencer un jour à développer des applications liées au crédit.
Premièrement, la recherche sur la lutte contre les préjugés injustes doit rattraper les ambitions de Google Cloud d’accroître l’inclusion financière grâce à la technologie “hautement sensible”, a-t-il déclaré dans la politique diffusée au personnel.
« Jusque-là, nous ne sommes pas en mesure de déployer des solutions. »
Reportage de Paresh Dave et Jeffrey Dastin; Montage par Kenneth Li et Pravin Char
Nos normes : Les principes de confiance de Thomson Reuters.
. — to www.reuters.com