Qu'est-ce qui pourrait mal se passer ?
Une patate chaude : Le Nevada est sur le point de devenir le premier État à utiliser cette technologie pour formuler des recommandations sur les recours en matière d’allocations chômage. Étant donné que ces systèmes sont sujets aux erreurs, aux biais et aux hallucinations, il est compréhensible que cette initiative suscite des inquiétudes. Le fait que les tribunaux ne soient pas en mesure d’annuler les décisions rendues sur la base d’une erreur d’IA aggrave ces craintes.
Le système d'intelligence artificielle générative du Nevada, développé par Google, devrait être lancé dans les prochains mois, rapporte Gizmodo. Sa fonction sera d'analyser les transcriptions des audiences d'appel en matière de chômage et de formuler des recommandations aux personnes qui rendront le verdict final.
Le Département de l'emploi, de la formation et de la réadaptation du Nevada (DETR) a payé 1 383 838 dollars à Google pour la technologie d'intelligence artificielle, qui utilise un service cloud de Google appelé Vertex AI Studio. Elle générera des recommandations basées sur les transcriptions des appels et des décisions des audiences de chômage, en comparant les informations aux cas précédents.
Le système est mis en place pour accélérer le processus d'appel. Carl Stanfield, administrateur des technologies de l'information du DETR, a déclaré que les employés mettent environ trois heures en moyenne pour rédiger une décision. Le système d'IA réduira ce délai à seulement cinq minutes dans certains cas. Cela pourrait être particulièrement utile au Nevada, qui a un arriéré de plus de 40 000 appels résultant d'une augmentation des demandes d'allocations chômage pendant la pandémie.
L'inconvénient, bien sûr, est que l'IA générative a la réputation de débiter des mensonges et d'inventer des choses. Le DETR affirme que les recommandations formulées par son IA seront examinées par au moins un humain. Si la personne est d'accord, la décision sera approuvée. Si elle ne l'est pas, le document sera révisé et l'agence enquêtera sur ce qui s'est passé.
« Il n'existe pas d'IA (de décisions écrites) qui soient prises sans interaction humaine et sans examen humain », a déclaré le directeur du DETR, Christopher Sewell.
Google a déclaré qu'il travaillerait avec le Nevada pour « identifier et traiter tout biais potentiel » et pour « les aider à se conformer aux exigences fédérales et étatiques ».
Certains craignent que les employés du DETR se sentent obligés d'examiner à la hâte les recommandations de l'IA, ce qui permettrait de rattraper plus rapidement le retard accumulé. C'est particulièrement inquiétant car cela pourrait avoir un impact sur la capacité d'un demandeur à faire appel d'une affaire.
« Dans les cas qui impliquent des questions de fait, le tribunal de district ne peut pas substituer son propre jugement à celui de l’arbitre d’appel », a déclaré à Gizmodo Elizabeth Carmona, avocate principale chez Nevada Legal Services. Cela signifie qu’un tribunal pourrait ne pas être en mesure d’annuler une décision humaine sur la base d’une erreur d’IA. Il serait également probablement difficile de déterminer avec précision l’origine d’une erreur.
Malgré ces préoccupations légitimes, ne soyez pas surpris de voir de plus en plus d’États commencer à utiliser l’IA pour accélérer les processus en aidant à prendre des décisions importantes.