Intelligence artificielle explicable et gouvernance des données : vers une IA plus transparente et éthique ?

L’intelligence artificielle est au cœur des préoccupations de notre société aujourd’hui : les systèmes de recommandation des plateformes, la conduite autonome, ou encore les IA génératives conversationnelles telles que ChatGPT, Mistral, Gemini ou plus récemment DeepSeek.

Ces IA sont souvent qualifiées de « boîtes noires », car leur mode de fonctionnement rend difficile la compréhension du « chemin » qu’elles ont emprunté pour prendre une décision ou faire une prédiction.

Ce comportement est à l’origine de la notion IA éthique.

Pourquoi « éthique » ?  Parce qu’il est important d’assurer la sécurité et l’intégrité des utilisateurs en les informant des données utilisées pour entraîner ces modèles.

De plus, il est essentiel d’être en mesure de « ouvrir la boîte noire » et de rendre leur inférence (le résultat de leur prédiction) explicable.

L’intelligence artificielle explicable

L’intelligence artificielle explicable (eXplainable AI en anglais) est une approche qui permet de comprendre les résultats et les conclusions des algorithmes d’apprentissage automatique, de caractériser leur précision et leurs biais potentiels.

Le but de tout cela : maitriser les données à la source du modèle afin de renforcer la confiance des utilisateurs, étendre les usages et permettre une démocratisation de l’usage de l’IA.

Les avantages de l’explicabilité des IA sont notables :

• Fiabilité accrue: En expliquant les caractéristiques et la justification de la sortie de l’IA, les humains sont plus susceptibles de faire confiance au modèle d’IA, ce qui renforce la fiabilité de l’IA.
• Conformité réglementaire : Dans des secteurs tels que la finance et la santé, l’intégration de modèles d’apprentissage automatique dans des stratégies complexes d’évaluation des risques peut être nécessaire pour se conformer aux exigences réglementaires en matière de gestion des risques.
• Justification éthique et suppression des préjugés : L’IA explicable étant transparente et plus facilement déboguable, les préjugés inconscients peuvent être évités et les décisions éthiques peuvent être expliquées.
• Informations exploitables et robustes : L’IA et l’apprentissage automatique offrent la possibilité d’obtenir des informations exploitables et robustes, mais l’IA explicable permet aux humains de comprendre comment et pourquoi l’algorithme a pris une décision qui lui semble être la meilleure.

L’IA explicable est même une obligation dans certains domaines où la confiance dans ses résultats est fondamentale. Ces domaines sont, par éxemple:

• La santé : afin d’établir des diagnostics en toute transparence en traçant la prise de décision pour les soins aux patients.
• Les services financiers : en encourageant la fiabilité de leur utilisation dans l’approbation de prêt ou de crédit.
• La justice et les enquêtes policières : par l’accélération de la prise de décisions d’analyse d’ADN, en comprenant les éléments justifiant ces dernières.
• La conduite autonome : comprendre les décisions de l’IA dans le cas d’accidents de la route par exemple.

Les enjeux relatifs à l’IA explicable et aux données utilisées lors de l’entrainement sont tellement forts que l’Europe s’est dotée en 2025 d’un cadre réglementaire : l’AI Act ! L’explicabilité est le cœur de cette règlementation, il en résulat la classification des modèles en 3 niveaux de risques :

• Inacceptable  : Ces systèmes sont interdits car ils menacent les droits fondamentaux, comme la manipulation cognitive, la notation sociale et certaines formes de surveillance biométrique en temps réel.
• Élevé : Ces systèmes sont soumis à des exigences strictes en matière de transparence, de robustesse et d’auditabilité . Ils concernent des domaines sensibles comme la santé, l’éducation, le recrutement ou la justice.
• Risque limité et minimal : Les IA à risque limité doivent simplement respecter des obligations de transparence (ex. : mentionner qu’un contenu est généré par IA). Les IA à risque minimal (ex. : filtres anti-spam) ne sont soumises à aucune exigence particulière.

Le règlement européen sur l’IA (ou AI Act) a été publié en juillet 2024 au Journal officiel de l’Union européenne (JOUE) et entrera progressivement en application à partir du 1er aout 2024.

Les trois techniques clés d’explicabilité pour comprendre le fonctionnement de l’IA :

L’IA explicable peut être divisée en trois catégories de techniques : l’explicabilité globale, l’explicabilité locale et l’explicabilité de cohorte.

• L’explicabilité globale: elle vise à expliquer le comportement du modèle dans son ensemble, en identifiant les fonctionnalités qui influencent les prédictions globales du modèle. Cette méthode permet de fournir des informations aux parties prenantes sur les caractéristiques utilisées par le modèle lors de la prise de décision, comme dans le cas d’un modèle de recommandation pour comprendre les fonctionnalités les plus engageantes pour les clients.
• L’explicabilité locale : ell permet de comprendre le comportement du modèle au niveau de chaque caractéristique dans les données, et de déterminer comment chacune de ces dernières contribue individuellement à la prédiction du modèle. Cette méthode est particulièrement utile pour identifier les raisons d’un problème dans la production ou pour découvrir les éléments qui ont le plus d’influence sur les décisions prises par le modèle. Cette approche est notamment bénéfique dans des secteurs tels que la finance et la santé, où les caractéristiques individuelles sont très importantes.
• L’explicabilité de cohorte: elle se situe entre l’explicabilité globale et locale, et permet d’expliquer comment les segments de données influencent les prédictions du modèle. Cette méthode est utile pour expliquer les différences dans les prédictions entre des groupes de données différents, comme lors de la validation d’un modèle, ou pour comprendre les valeurs et prédictions aberrantes.

La gouvernance des données : un enjeu majeur pour garantir une utilisation responsable de l’IA

La gouvernance de données joue un rôle crucial en veillant à la qualité, à la protection et à la responsabilité de l’utilisation des données. Elle permet de garantir que les données sont utilisées de manière éthique et responsable, en conformité avec les lois et les normes en vigueur. Maîtriser les données est également important pour garantir la confiance envers les entreprises qui utilisent leurs données. Cependant, les algorithmes d’IA sont souvent critiqués pour leur manque de transparence et de responsabilité, ce qui peut entraîner des conséquences négatives pour les utilisateurs.

La gouvernance de données devient alors un préliminaire majeur à la génération des données d’entrainement des modèles et à la traçabilité de ces dernières (quel(s) système(s) sources, quelle(s) transformation(s), complétude …). Il y a donc un vrai enjeux de traçabilité des données qui sont utilisées lors des phases d’entrainements des modèles.

Quels défis pour une IA plus éthique ?

Pour des IA plus éthiques, la gouvernance de données va favoriser la responsabilité et la transparence en travaillant sur les axes suivants :

• La qualité des données : Les données utilisées pour entraîner les modèles d’IA doivent être de haute qualité et exemptes de biais. Si les données sont incomplètes, inexactes ou biaisées, cela peut affecter la précision et la fiabilité du modèle d’IA.
• La confidentialité et la sécurité des données : Les données utilisées pour l’IA peuvent contenir des informations personnelles sensibles. Il est nécessaire de garantir leur confidentialité et leur sécurité tout au long du cycle de vie des données, de la collecte à la destruction. Il est possible de passer par une étape d’anonymisation afin de limiter les impacts.
• La propriété des données : Cette notion peut être complexe, notamment dans les cas où les données sont collectées auprès de tiers ou dans les environnements de données partagées. Il est important de clarifier les droits de propriété des données pour éviter les conflits.
• La gouvernance et la réglementation : Les entreprises doivent se conformer aux réglementations en matière de protection des données des citoyens et usagers, telles que le RGPD en Europe ou le CCPA en Californie et maintenant l’AI Act. Elles doivent également mettre en place des politiques et des procédures de gouvernance des données pour garantir une utilisation responsable et éthique des données.

Gouvernance de données et IA explicable, duo indispensable ?

L’intelligence artificielle explicable et la gouvernance des données sont donc étroitement liées. L’IA explicable est une méthodologie qui dépend fortement de la qualité et de la disponibilité des données.

La gouvernance des données joue un rôle clé dans la fourniture de données fiables et de qualité pour les systèmes d’IA. Mais l’IA (explicable évidement ) à son rôle à jouer aussi en aidant à améliorer la gouvernance des données ! Elle peut aider à identifier les caractéristiques des données les plus importantes pour les décisions prises par les modèles d’IA.

En conclusion, l’intelligence artificielle explicable et la gouvernance des données sont des domaines clés pour garantir que l’IA joue un rôle responsable et éthique dans notre société moderne.

Une data plateforme comme Phoenix est un composant indispensable pour un scenario IA explicable : elle fournit une traçabilité complète de la donnée, de son identification dans le catalogue jusqu’à sa préparation. Elle peut même exposer les modèles d’IA grâce à son module d’API management. On obtient ainsi une gouvernance centralisée de l’IA de sa « création » à son utilisation.