IA générative : Compl-AI, un outil open source pour évaluer la conformité à l’AI Act

 Découvrez Le Brief de l'IT, la newsletter thématique gratuite d'Archimag dédiée aux professionnels des data, de l'IT, de la digitalisation et de la transformation numérique !

Comment savoir si l’IA générative que nous utilisons ou que nous créons pour notre entreprise est compatible avec l’AI Act, loi européenne visant réguler la mise sur le marché, l’éthique, ou encore la sécurité des intelligences artificielles ? Afin de confronter la conformité des LLMs en circulation ou ceux en cours de création, l’École Polytechnique de Zurich (ETH Zurich), l’Institute for computer Science, Artificial Intelligence and Technology (INSAIT) et la start-up LatticeFlow AI ont lancé le premier outil libre et open source pour l'évaluation des modèles d'IA générative vis-à-vis de l'AI Act : Compl-AI.

Lire aussi : AI Act : le calendrier d’application des mesures

“Nous invitons les chercheurs, développeurs et régulateurs en IA à nous rejoindre dans ce projet en évolution”, a déclaré Martin Vechev, professeur à l'ETH Zurich, fondateur et directeur scientifique de l'INSAIT. “Nous encourageons d'autres groupes de recherche et praticiens à contribuer en affinant la cartographie de l’AI Act, en ajoutant de nouveaux référentiels et en élargissant ce cadre open-source. La méthodologie peut également être étendue pour évaluer les modèles d'IA selon d'autres actes réglementaires futurs au-delà de la loi européenne, en faisant un outil précieux pour les organisations opérant dans différentes juridictions.” 

Lire aussi : IA générative : l'utiliser dans ses projets professionnels

Des évaluations déjà disponibles

En dehors de ce cadre, Compl-AI propose déjà les évaluations des modèles d’Anthropic, de Meta, de Mistral AI, de Google, d’Open AI, de Qwen/Alibaba cloud et de 01.AI. Selon l’INSAIT, cette analyse révèle des lacunes. “Plusieurs modèles très performants ne répondent pas aux exigences réglementaires, beaucoup n’atteignant qu’environ 50 % de compatibilité avec les référentiels traitant de la cybersécurité et de l’équité”, constate l’institut.

Lire aussi : Le Conseil de l’Europe signe le tout premier traité contraignant sur l’intelligence artificielle

Des modèles de langage lacunaires

Cependant, l’étude relève les bonnes performances de la plupart des modèles concernant la lutte contre les contenus nuisibles et toxiques. L’INSAIT souligne aussi la difficulté d’évaluer le respect des droits d’auteur et de la vie privée des utilisateurs. “Cela suggère la nécessité d’affiner encore la réglementation pour soutenir des évaluations techniques fiables”.

De son côté, la Commission européenne, via son porte-parole pour l’économie Numérique, la Recherche et l’Innovation Thomas Regnier, accueille positivement Compl-AI. “L’étude et la plateforme d’évaluation constituent une première étape dans la traduction des exigences techniques de l’AI Act, aidant ainsi les fournisseurs de modèles d’IA à mettre en œuvre la législation.”