Les rapports de sécurité inutiles générés par l'IA frustrent les responsables de l'open source

Les hallucinations du code rendent la vie de certains développeurs misérable

Paume faciale : Les services d’IA générative ne sont ni intelligents ni capables de fournir un complément significatif aux efforts de développement open source. Un expert en sécurité qui en a assez des listes de bugs hallucinées et « spammées » exprime sa frustration en demandant à la communauté FOSS d'éviter les rapports générés par l'IA.

Les modèles d’IA générative se sont déjà révélés être des outils puissants entre les mains des cybercriminels et des fraudeurs. Cependant, les colporteurs peuvent également les utiliser pour spammer des projets open source avec des rapports de bogues inutiles. Selon Seth Larson, le nombre de rapports de sécurité « de très mauvaise qualité », contenant du spam et hallucinés par LLM, a récemment augmenté, obligeant les responsables à perdre leur temps sur des éléments peu intelligents.

Larson est un développeur de sécurité à la Python Software Foundation qui fait également partie des « équipes de triage » chargées de vérifier les rapports de sécurité pour des projets open source populaires tels que CPython, pip, urllib3, Requests et autres. Dans un récent article de blog, le développeur dénonce une nouvelle tendance troublante de rapports de sécurité bâclés créés avec des systèmes d'IA générative.

Ces rapports d’IA sont insidieux car ils semblent potentiellement légitimes et méritent d’être vérifiés. Comme Curl et d’autres projets l’ont déjà souligné, ce sont simplement des conneries qui sonnent mieux, mais néanmoins de la merde. Des milliers de projets open source sont concernés par ce problème, tandis que les responsables ne sont pas encouragés à partager leurs découvertes en raison de la nature sensible du développement lié à la sécurité.

« Si cela arrive à une poignée de projets pour lesquels j'ai une visibilité, alors je soupçonne que cela se produit à grande échelle pour les projets open source », a déclaré Larson.

Les rapports hallucinés font perdre du temps aux responsables bénévoles et entraînent de la confusion, du stress et beaucoup de frustration. Larson a déclaré que la communauté devrait considérer les rapports d'IA de mauvaise qualité comme malveillants, même si ce n'est pas l'intention initiale des expéditeurs.

Il a donné de précieux conseils aux plateformes, aux journalistes et aux responsables qui sont actuellement confrontés à une légère augmentation des rapports hallucinés par l'IA. La communauté doit utiliser CAPTCHA et d'autres services anti-spam pour empêcher la création automatisée de rapports de sécurité. Pendant ce temps, les rapporteurs de bogues ne devraient pas utiliser de modèles d’IA pour détecter les vulnérabilités de sécurité dans les projets open source.

Les grands modèles de langage ne comprennent rien au code. La découverte de failles de sécurité légitimes nécessite de traiter des « concepts au niveau humain » tels que l'intention, l'usage courant et le contexte. Les responsables peuvent s'épargner bien des ennuis en répondant aux rapports apparents de l'IA avec le même effort déployé par les expéditeurs d'origine, qui sont « proches de zéro ».

Larson reconnaît que de nombreux signaleurs de vulnérabilités agissent de bonne foi et fournissent généralement des rapports de haute qualité. Cependant, une « majorité croissante » de rapports demandant peu d’efforts et de mauvaise qualité ruinent la situation de toutes les personnes impliquées dans le développement.