La data quality fait partie des enjeux majeurs pour les organisations, aussi bien sur des dimensions décisionnelles, financières ou de performance. En effet, des données de mauvaise qualité peuvent coûter cher ; une étude menée par MIT Sloan indique que la négligence sur la qualité des données peut coûter de 15 à 25 % du chiffre d’affaires.
Ces pertes peuvent se chiffrer en opportunités manquées en lien avec de mauvaises décisions ou un déficit d’image mais également en sanctions légales et en temps passé pour traquer, nettoyer et corriger les données erronées. Les risques sont aussi bien opérationnels que financiers, légaux ou stratégiques !
A l’inverse, des données de qualité permettent aux entreprises d’améliorer leurs performances opérationnelles, de satisfaire la clientèle et d’être plus compétitives en réorientant rapidement leur stratégie d’entreprise.
Quels sont les critères de qualité d’une donnée ?
Selon PWC, Micropole, EBG dans « Qualité des données, Quelle(s) vérité(s) dans les entreprises », « la qualité des données désigne l’aptitude de l’ensemble des caractéristiques intrinsèques des données (fraîcheur, disponibilité, cohérence fonctionnelle et/ou technique, traçabilité, sécurisation, exhaustivité) à satisfaire des exigences internes (pilotage, prise de décision…) et des exigences externes (réglementations,…) à l’organisation ».
Une donnée ne possède pas une qualité intrinsèque. Sa qualité ne peut être évaluée qu’à partir du moment où l’on sait ce que l’on veut en faire : Quel est l’objectif final ? Quel sera son traitement ? Quelle signification sémantique donne-t-on à l’information ? Quelles sont les attentes en termes de qualité et pourquoi ? Autrement dit, la qualité se définit en fonction de l’usage attendu par ses utilisateurs (IT, services métiers, direction…).
Cela suppose d’avoir une connaissance à la fois globale et fine des processus métiers qui traversent l’ensemble de l’organisation et des standards en vigueur pour permettre l’échange de données en interne et en externe.
Le RGPD pose des limites bien précises aux traitements des données personnelles, sur tout le cycle de vie de la donnée. Une donnée stockée ou utilisée hors cadre réglementaire ne pourra donc pas être considérée comme une donnée de qualité bien qu’elle puisse apporter de l’efficience et de la valeur à l’organisation.
A partir de ces points de considération, la qualité des données peut être jaugée à l’aune de différents indicateurs : son profil, son exactitude, sa complétude, sa conformité, son intégrité, sa consistance, sa disponibilité, son applicabilité, son intelligibilité, son intégration, sa flexibilité, sa comparabilité, sa cohérence etc. Les critères sont variés ! Rentrent en jeu également des critères de services comme la compréhensibilité, l’accessibilité ou la fraicheur de la donnée.
Comment améliorer la qualité et la traçabilité de vos données au cœur de votre SI ?
Pourquoi et comment mettre en place une démarche de Data Quality Management (DQM) ?
La démarche de data quality ou de mise en qualité ne se limite pas à charger des données correctes dans les systèmes d’information ; elle consiste aussi à se débarrasser des données erronées, corrompues ou dupliquées ainsi qu’à garantir une description précise des données pour renforcer leur exploitabilité (dictionnaire de données…).
Et d’ailleurs, comment vérifier et mesurer initialement la qualité de ses données ?
La première étape est de prendre connaissance de l’ensemble de son patrimoine data, puis de le classifier et d’identifier les données selon les usages. Ensuite, vient la phase d’analyse de la qualité des données, tout au long de leur cycle de vie. Comme présenté plus haut, cette étape de contrôle de la qualité est réalisée au regard des indicateurs définis, et de leur priorité selon votre contexte ainsi que des règles métiers. La cartographie et le catalogage des données sont ainsi des fondations de la démarche ! Impossible de mesurer la qualité de ses données sans connaître son patrimoine data.
Si les erreurs peuvent être techniques, elles sont le plus souvent humaines et organisationnelles et surviennent à différentes étapes du cycle de vie de la donnée et à différents endroits du SI :
- Lors de la collecte par une mauvaise saisie intentionnelle ou non intentionnelle
- Lors du partage par la création de plusieurs versions d’une donnée
- Lors de l’export par des règles mal définies en amont ou un problème de compatibilité
- Lors de la maintenance par un mauvais encodage
Les conséquences en termes de « mauvaise qualité » des données sont par exemple des données inexactes, obsolètes, non-conformes… ou tout simplement dormantes. Une donnée peut ne pas être erronée et pourtant de mauvaise qualité si elle n’est plus utilisée et n’apporte plus de valeur.
Les contrôles de qualité tout au long du cycle de vie des données sont essentiels. Car si une donnée est de mauvaise qualité à l’origine, elle le sera également à la fin, c’est la notion de Garbage In Garbage Out. Pour garantir l’efficience d’une stratégie de Data Quality, il peut donc être intéressant de mener des ateliers avec les métiers pour positionner des règles de suivi de qualité directement dans les applications métiers
Stéphane LE LIONNAIS, Responsable BU Data Catalog chez Blueway
L’approche de Data Quality Management
La gestion de la qualité des données ou Data Quality Management (DQM) est ainsi la capacité à fournir des données fiables répondant aux besoins métiers et techniques des utilisateurs. Cela englobe tous les processus, outils, méthode de gouvernance, et politiques internes mis en place pour maintenir la qualité de données tout au long de leur cycle de vie.
Il s’agit donc également de transformer des données de qualité en renseignements utiles.
La gestion des données dans une démarche d’amélioration continue de la qualité des données (ex : TDQM) peut se baser sur les 4 phases de la roue de Deming (définir, réaliser, contrôler, agir). Mais plus précisément, on peut recenser 6 étapes, après la cartographie initiale :
- Profilage des données : étude de la structure des tables, la relation des tables entre elles, la pertinence des données et la validité de formats
- Nettoyage : identification des données non qualitatives, collecte et correction au sein de la base (élimination des doublons, valeurs manquantes…). C’est un processus itératif !
- Homogénéisation : standardisation et harmonisation des données sous une forme partagée permettant l’interopérabilité mais également la bonne compréhension par toutes et tous.
- Dédoublonnage et déduplication : suppression des doublons au sein d’un même fichier et identification des informations qui apparaissent dans plusieurs fichiers de l’entreprise pour n’en conserver qu’une seule version.
- Enrichissement : amélioration de la complétude des données corrigées et validées en fonction de leurs usages. C’est un également un processus continu.
- Reporting et surveillance : analyse et pilotage de l’évolution de la qualité des données à l’aide de tableaux de bord et de KPI.
Pour soutenir cette démarche de qualité de la donnée, une campagne de sensibilisation menée en amont et portée par un sponsor issu de la direction est bienvenue. Il convient de mettre en place un plan de communication adapté avec des actions de formation et des supports clairs et attractifs pour sensibiliser les collaborateurs et les inciter à adopter les bonnes pratiques
Stéphane LE LIONNAIS, Responsable BU Data Catalog chez Blueway
MDM versus PIM : frères ennemis ou dream team ?
Quels outils et profils clés pour améliorer la qualité de vos données de référence ?
Les garants de la data quality
Plusieurs rôles sont apparus au sein des entreprises ces dernières années, avec l’importance croissance portée sur la qualité des données et la maîtrise des données de référence. On citera en particulier le Master Data Manager, souvent lié à l’utilisation d’un MDM, le Data Steward qui facilite l’accès aux données par les métiers ou le Data Owner qui garantit la qualité finale des données. Les postes de direction comme le CDO (Chief Data Officer) et DME (Data Management Executive) sont aussi les premiers sponsors de ces transformations.
Si la constitution d’une équipe pluridisciplinaire– data quality manager, architecte de données, data scientists, data steward, data protection officer– est indispensable pour mener à bien votre démarche de data quality, n’oubliez pas de choisir les bons outils !
La qualité des données est un sujet transverse, elle ne doit pas être la préoccupation des seules équipes Data ou IT. Il faut donc réimpliquer les métiers et les accompagner directement dans leurs applications métiers pour faire du contrôle et de la validation de la cohérence de leurs données. Ils ont désormais des outils à disposition, comme MyDataCatalogue, pour se saisir de cet enjeu.
Stéphane LE LIONNAIS, Responsable BU Data Catalog chez Blueway
Un panel d’outils avec des périmètres fonctionnels variés
Pour assurer une qualité optimale des données, il est essentiel de disposer des bons outils. Cependant, nous préconisons de prendre du recul sur vos besoins et le périmètre fonctionnel adapté à chaque étape de cette démarche plutôt que de directement penser « outils et acronymes ». Voici une synthèse montrant les différents usages de la Data Quality :
- Analyse de la qualité des données (DQ)
- Sécurité des données
- Mise en conformité
- Solution de surveillance et d’analyse
- Data Discovery
- Data Catalog
- Data lineage
- Gestion des données maître et référentiels de données (MDM…)
- Transformation et circulation des données (ETL, ELT, ESB…)
- Partage et exposition de données (APIM…)
- Visualisation et reporting (Business Intelligence…)
Notre conviction : associer les visions Data et Process au service de la qualité des données
Chez Blueway, nous avons la conviction que data et process sont intimement liés. C’est pourquoi le module Process Governance de notre plateforme de données Phoenix vous permet de comprendre vos processus métiers et les usages qui sont en lien avec la donnée.
Pour gérer vos données maîtres clients/fournisseurs, produits et financières – le module MDM (Master Data Management) , Data Governance, associé aux autres modules de la plateforme, vous permet de superviser et d’automatiser toutes vos actions autour des données : collecter, transporter, enrichir, déverser… Pour améliorer la qualité de vos données, vous pourrez modéliser vos référentiels, créer vos indicateurs et assurer la pertinence, l’unicité et la traçabilité des informations, tout au long de leur cycle de vie !
Echangez sur vos problématiques de qualité de données avec un expert Blueway !
