Comment mener votre démarche de data quality ?

Data quality

La data quality fait partie des enjeux majeurs pour les organisations, aussi bien sur des dimensions décisionnelles, financières ou de performance. En effet, des données de mauvaise qualité peuvent coûter cher ; une étude menée par MIT Sloan indique que la négligence sur la qualité des données peut coûter de 15 à 25 % du chiffre d’affaires.

Ces pertes peuvent se chiffrer en opportunités manquées en lien avec de mauvaises décisions ou un déficit d’image mais également en sanctions légales et en temps passé pour traquer, nettoyer et corriger les données erronées.

A l’inverse, des données de qualité permettent aux entreprises d’améliorer leurs performances opérationnelles, de satisfaire la clientèle et d’être plus compétitives en réorientant rapidement leur stratégie d’entreprise.

Quels sont les critères
de qualité d’une donnée ?

Selon  PWC, Micropole, EBG, « la qualité des données désigne l’aptitude de l’ensemble des caractéristiques intrinsèques des données (fraîcheur, disponibilité, cohérence fonctionnelle et/ou technique, traçabilité, sécurisation, exhaustivité) à satisfaire des exigences internes (pilotage, prise de décision…) et des exigences externes (réglementations,…) à l’organisation ».

Une donnée ne possède pas une qualité intrinsèque. Sa qualité ne peut être évaluée qu’à partir du moment où l’on sait ce que l’on veut en faire : Quel est l’objectif final ? Quel sera son traitement ? Quelle signification sémantique donne-ton à l’information ? Quelles sont les attentes en termes de qualité et pourquoi ? Autrement dit, la qualité se définit en fonction de l’usage attendu par ses utilisateurs.

Cela suppose d’avoir une connaissance à la fois globale et fine des processus métiers qui traversent l’ensemble de l’organisation et des standards en vigueur pour permettre l’échange de données en interne et en externe.

Le RGPD pose des limites bien précises aux traitements des données personnelles, sur tout le cycle de vie de la donnée. Une donnée stockée ou utilisée hors cadre réglementaire ne pourra donc pas être considérée comme une donnée de qualité bien qu’elle puisse apporter de l’efficience et de la valeur à l’organisation.

A partir de ces points de considération, la qualité des données peut être jaugée à l’aune de différents indicateurs : son profil, son exactitude, sa complétude, sa conformité, son intégrité, sa consistance, sa disponibilité, son applicabilité, son intelligibilité, son intégration, sa flexibilité, sa comparabilité, sa cohérence etc. Les critères sont on ne peut plus variés ! Rentrent en jeu également des critères de services comme la compréhensibilité, l’accessibilité ou la fraicheur de la donnée.

Comment LOTO QUEBEC a déployé un Référentiel Client Unique pour améliorer la performance marketing ?

Pourquoi faut-il mettre en place un Data Quality Management ?

La démarche data quality ne se limite pas à charger des données correctes dans les systèmes d’information ; elle consiste aussi à se débarrasser des données erronées, corrompues ou dupliquées ainsi qu’à garantir une description précise des données pour renforcer leur exploitabilité (dictionnaire de données…).

Si les erreurs peuvent être techniques, elles sont le plus souvent humaines et organisationnelles et surviennent à différentes étapes du cycle de vie de la donnée et à différents endroits du SI :

  • Lors de la collecte par une mauvaise saisie intentionnelle ou non intentionnelle
  • Lors du partage par la création de plusieurs versions d’une donnée
  • Lors de l’export par des règles mal définies en amont ou un problème de compatibilité
  • Lors de la maintenance par un mauvais encodage

Les conséquences en termes de « mauvaise qualité » des données sont par exemple des données inexactes, obsolètes, non-conformes… ou tout simplement dormantes. Une donnée peut ne pas être erronée et pourtant de mauvaise qualité si elle n’est plus utilisée et n’apporte plus de valeur.

La gestion de la qualité des données ou Data Quality Management (DQM) est ainsi la capacité à fournir des données fiables répondant aux besoins métiers et techniques des utilisateurs. Il s’agit donc de transformer des données de qualité en renseignements utiles.

La gestion des données dans une démarche d’amélioration continue de la qualité des données nommée TDQM1 peut se baser sur les 4 phases de la roue de Deming (définir, réaliser, contrôler, agir). Mais plus précisément, on peut recenser 6 étapes :

Data quality & Profilage des données

1. Profilage
des données

Etude de la structure des tables, la relation des tables entre elles, la pertinence des données et la validité de formats

Nettoyage au profit du Data Quality

2. Nettoyage

Identification des données non qualitatives, collecte et correction au sein de la base (élimination des doublons, valeurs manquantes…). C’est un processus itératif !

Homogénéisation des données et qualité

3. Homogénéisation

Standardisation et harmonisation des données sous une forme partagée permettant l’interopérabilité mais également la bonne compréhension par toutes et tous.

Dédoublonnage des données

4. Dédoublonnage
et déduplication

Suppression des doublons au sein d’un même fichier et identification des informations qui apparaissent dans plusieurs fichiers de l’entreprise pour n’en conserver qu’une seule version

Enrichir les données pour améliorer leur qualité

5. Enrichissement 

Amélioration de la complétude des données corrigées et validées en fonction de leurs usages. C’est un également un processus continu.

Reporting sur des données de qualité

6. Reporting
et surveillance

Analyse et pilotage de l’évolution de la qualité des données à l’aide de tableaux de bord et de KPI.

De la théorie aux retours d’expérience concrets, toutes les clés pour réussir votre projet MDM.

Quels outils pour améliorer la qualité
de vos données de référence ?

Les garants de la data quality

Plusieurs rôles sont apparus au sein des entreprises ces dernières années, avec l’importance croissance portée sur la qualité des données. On citera en particulier le Master Data Manager, souvent lié à l’utilisation d’un MDM, le Data Steward qui facilite l’accès aux données par les métiers ou le Data Owner qui garantit la qualité finale des données. Les postes de direction comme le CDO (Chief Data Officer) et DME (Data Management Executive) sont aussi les premiers sponsors de ces transformations.

Si la constitution d’une équipe pluridisciplinaire– data quality manager, architecte de données, data scientists, data steward, data protection officer– est indispensable pour mener à bien votre démarche de data quality, n’oubliez pas de choisir les bons outils !

Notre conviction : associer les visions Data et Process au service de la data quality

Chez Blueway, nous avons la conviction que data et process sont intimement liés. C’est pourquoi le module Process Governance de notre plateforme Data Foundation vous permet de comprendre vos processus métiers et les usages qui sont en lien avec la donnée.

Pour gérer vos données maîtres clients/fournisseurs, produits et financières – le module MDM , Data Governance, associé aux autres modules de la plateforme, vous permet de superviser et d’automatiser toutes vos actions autour des données : collecter, transporter, enrichir, déverser… Pour améliorer la qualité de vos données, vous pourrez modéliser vos référentiels, créer vos indicateurs et assurer la pertinence, l’unicité et la traçabilité des informations, tout au long de leur cycle de vie !

Vous souhaitez en savoir plus ? Échangez avec nos experts : la data quality nous passionne depuis toujours !

Au plaisir de discuter avec vous !