Data quality

La data quality fait partie des enjeux majeurs pour les organisations. En effet, des données de mauvaise qualité peuvent coûter cher ; une étude menée par MIT Sloan indique que la négligence sur la qualité des données peut coûter de 15 à 25 % du chiffre d’affaires.

Ces pertes peuvent se chiffrer en opportunités manquées en lien avec de mauvaises décisions ou un déficit d’image mais également en sanctions légales et en temps passé pour traquer, nettoyer et corriger les données erronées.

A l’inverse, des données de qualité permettent aux entreprises d’améliorer leurs performances opérationnelles, de satisfaire la clientèle et d’être plus compétitives en réorientant rapidement leur stratégie d’entreprise.

Quels sont les critères de qualité d’une donnée ?

Selon  PWC, Micropole, EBG, « la qualité des données désigne l’aptitude de l’ensemble des caractéristiques intrinsèques des données (fraîcheur, disponibilité, cohérence fonctionnelle et/ou technique, traçabilité, sécurisation, exhaustivité) à satisfaire des exigences internes (pilotage, prise de décision…) et des exigences externes (réglementations,…) à l’organisation ».

Une donnée ne possède pas une qualité intrinsèque. Sa qualité ne peut être évaluée qu’à partir du moment où l’on sait ce que l’on veut en faire : Quel est l’objectif final ? Quel sera son traitement ? Quelle signification sémantique donne-ton à l’information ? Autrement dit, la qualité se définit en fonction de l’usage attendu par ses usagers.

Cela suppose d’avoir une connaissance à la fois globale et fine des processus métiers qui traversent l’ensemble de l’organisation et des standards en vigueur pour permettre l’échange de données en interne et en externe.

Le RGPD pose des limites bien précises aux traitements des données personnelles, sur tout le cycle de vie de la donnée. Une donnée stockée ou utilisée hors cadre réglementaire ne pourra donc pas être considérée comme une donnée de qualité bien qu’elle puisse apporter de l’efficience et de la valeur à l’organisation.

A partir de ces points de considération, la qualité des données peut être jaugée à l’aune de différents indicateurs : son profil, son exactitude, sa complétude, sa conformité, son intégrité, sa consistance, sa disponibilité, son applicabilité, son intelligibilité, son intégration, sa flexibilité, sa comparabilité, etc. Les critères sont on ne peut plus variés !

Pourquoi faut-il mettre en place un Data Quality Management ?

La démarche data quality ne se limite pas à charger des données correctes dans les systèmes d’information ; elle consiste aussi à se débarrasser des données erronées, corrompues ou dupliquées.

Si les erreurs peuvent être techniques, elles sont le plus souvent humaines et organisationnelles et surviennent à différentes étapes du cycle de vie de la donnée et à différents endroits du SI :

  • Lors de la collecte par une mauvaise saisie intentionnelle ou non intentionnelle
  • Lors du partage par la création de plusieurs versions d’une donnée
  • Lors de l’export par des règles mal définies en amont ou un problème de compatibilité
  • Lors de la maintenance par un mauvais encodage

La gestion de la qualité des données ou Data Quality Management (DQM) est la capacité à fournir des données fiables répondant aux besoins métiers et techniques des utilisateurs. Il s’agit donc de transformer des données de qualité en renseignements utiles.

La gestion des données dans une démarche d’amélioration continue de la qualité des données nommée TDQM1 peut se baser sur les 4 phases de la roue de Deming (définir, réaliser, contrôler, agir). Mais plus précisément, on peut recenser 6 étapes :

  1. Profilage des données : étude de la structure des tables, la relation des tables entre elles, la pertinence des données et la validité de formats
  2. Nettoyage : identification des données non qualitatives et correction au sein de la base
  3. Homogénéisation : standardisation et harmonisation des données sous une forme partagée permettant l’interopérabilité mais également la bonne compréhension par toutes et tous.
  4. Dédoublonnage et déduplication : suppression des doublons au sein d’un même fichier et identification des informations qui apparaissent dans plusieurs fichiers de l’entreprise pour n’en conserver qu’une seule version
  5. Enrichissement : amélioration de la complétude des données corrigées et validées.
  6. Reporting : analyse et pilotage de l’évolution de la qualité des données à l’aide de tableaux de bord.

De la théorie aux retours d’expérience concrets, toutes les clés pour réussir votre projet MDM.

Quels outils pour améliorer la qualité de vos données de référence ?

Si la constitution d’une équipe pluridisciplinaire– data quality manager, architecte de données, data scientists, data steward, data protection officer– est indispensable pour mener à bien votre démarche de data quality, n’oubliez pas de choisir les bons outils !

Chez Blueway, nous avons la conviction que data et process sont intimement liés. C’est pourquoi le module Process Governance de notre plateforme Data Foundation vous permet de comprendre vos processus métiers et les usages qui sont en lien avec la donnée.

Pour gérer vos données maîtres clients/fournisseurs, produits et financières – le module MDM , Data Governance, associé aux autres modules de la plateforme, vous permet de superviser et d’automatiser toutes vos actions autour des données : collecter, transporter, enrichir, déverser… Pour améliorer la qualité de vos données, vous pourrez modéliser vos référentiels, créer vos indicateurs et assurer la pertinence, l’unicité et la traçabilité des informations, tout au long de leur cycle de vie !

Le sujet vous intéresse ? Échangez avec nos experts : la data quality nous passionne depuis toujours !