L’importance d’adopter une vision globale pour aborder efficacement le traitement des données
Il est courant de résumer le traitement des données à leur nettoyage et leur intégration… mais ce faisant, on adopte une vision incomplète de la démarche. Car pour exploiter pleinement la data, il est nécessaire de considérer l’intégralité de son parcours. Piloter avec soin chaque étape du Data Processing, de la collecte au stockage, et mettre en place les bons outils et méthodes aux points de passage clés, c’est en améliorer l’efficacité, la qualité et donc l’exploitabilité des données. L’ensemble de l’organisation, des métiers aux instances décisionnelles, pourront tirer davantage de valeur de données correctement traitées.
Le traitement des données ou data processing : de quoi s’agit-il ?
Par traitement des données, ou Data Processing, on désigne les opérations menées sur la data dès sa collecte afin de la rendre exploitable et d’en maximiser la valeur. Une démarche qu’il est essentiel de structurer, et mener en continu pour ne pas être débordé par les volumes de données collectés quotidiennement.
Si le Data Processing peut inclure un traitement manuel de la donnée – un Data Scientist peut par exemple dans certains cas prendre en charge la première phase de traitement et produit des analyses documentées qui rejoindront ensuite le SI et ses applications métier –, celle-ci passe également par un certain nombre d’étapes automatisées. Le traitement des données suit en général les phases suivantes :
1. Collecte
2. Pré-traitement
3. Importation
Les données – structurées ou non sont collectées depuis toutes les sources disponibles (data lakes, data warehouses, Excel, applications métier, IoT…)
Un nettoyage et un dédoublonnage sont effectués, avec élimination de la data de faible qualité
Les données sont converties dans un format exploitable et transportées vers les applications de référence du SI.
4. Traitement
5. Exploitation
6. Stockage
Des solutions automatisées interviennent à cette phase pour structurer et transformer les données selon leur utilisation future.
Une fois disponibles, les données peuvent être consultées et utilisées (par les métiers, outils de BI, processus…) à des fins de prise de décision stratégique ou tout simplement des activités de l’organisation.
Le traitement inclut également la phase de stockage, importante pour conserver les données dans le respect du RGPD et des normes d’archivage selon le contexte.
Le traitement des données, mais aussi le profil de la data collectée dès le départ sont des éléments importants pour la qualité : la donnée ne pourra en effet apporter de la valeur ajoutée que si elle est fiable dès la source, puis bien structurée lors du pré-traitement, en fonction des usages finaux !
Comment accompagner l’ambition de transformation du groupe PAREDES en assurant l’interopérabilité au sein du SI ?
Comment garantir un traitement efficace de la donnée ?
Au stade crucial de l’intégration, le traitement de la donnée fait intervenir des solutions telles que l’ETL (Extract Transform Load), l’EAI (Enterprise Application Integration) et le bus applicatif ou ESB.
Mais la valorisation de la data ne dépend pas uniquement de l’intégration : son transport, son stockage, les efforts faits pour la structurer et la mettre en qualité… chacun de ses points de passage fait évoluer la donnée et joue donc un rôle majeur dans son exploitabilité !
Un autre facteur essentiel dans la réussite du traitement est la prise en compte de tous les besoins spécifiques : normes et formats propres à un secteur, besoin des métiers et gestion cohérente des flux… adapter le traitement à son activité fait une vraie différence.
Pour répondre aux besoins de chaque entreprise, plusieurs critères doivent ainsi être réunis :
Une intégration automatisée et supervisée
Disposer d’une console de supervision permet de suivre le statut des flux, les indicateurs de performance, les procédures de validation, la sécurité… et apporte de la visibilité sur les échanges, le traitement et l’intégration.
Une normalisation des échanges et un routage intelligent
Les solutions d’intégration doivent accélérer les échanges, et donc transporter immédiatement la data aux bonnes applications tout en assurant la persistance si nécessaire (synchrone/asynchrone). Dans l’opération, la solution doit aussi transformer les messages pour les convertir dans un format standard et si besoin conforme aux normes du secteur.
Une manipulation et un enrichissement simples de la donnée
En plus d’une médiation intelligente, le traitement de la donnée doit pouvoir être paramétré ou affiné facilement. Les messages doivent pouvoir être enrichis au travers de circuits de distribution intermédiaires (référentiel de données de référence par exemple).
La réussite du traitement ne s’arrête bien sûr pas là. La qualité des données et leur exploitabilité se jouent en réalité tout au long de leur cycle de vie, au moment de la constitution d’un référentiel de données, de l’orchestration des flux selon les enchaînements métiers, de leur mise à disposition contextualisée… Un traitement à 360° de l’information, ce ne sont pas uniquement des solutions qui valorisent la donnée : l’approche globale doit, elle aussi, tenir compte de l’usage final qui sera fait de l’information.
La distinction ESB vs ETL n’a plus de sens face aux besoins métiers !
ESB, BPM et MDM : le triptyque du cycle de vie de la donnée… et de son traitement efficace
L’ESB (Enterprise Service Bus) forme le socle de la solution Blueway pour un traitement complet de l’information (manipulation, contrôle et exposition de la donnée, dans une logique SOA). Le bus applicatif joue en effet un rôle majeur à l’étape de structuration des flux : son rôle est de faciliter la circulation de l’information entre les applications métier et d’urbaniser le Système d’Information.
Mais notre approche chez Blueway tient compte de toutes les autres dimensions de la gestion des flux de données ! C’est seulement ainsi que l’on peut maximiser la valeur apportée à l’organisation par la data.
MDM
En amont, le MDM (Master Data Management) est le référentiel unique de données qui assure la réussite de la collecte, de la mise en qualité et de l’enrichissement des données qui circuleront dans le SI.
BPM & APIM
En aval, le Business Process Management garantit que les bonnes informations soient mises à disposition au bon moment, et selon l’activité des utilisateurs métiers. Il apporte également des interfaces pour saisir des informations structurées selon le contexte d’usage.
Celles-ci peuvent également être exposées auprès des partenaires via notre solution d’API Management.
Ensemble, ces composantes complémentaires et intégrées au sein de la plateforme unique Phoenix, permettent de garder le contrôle et la visibilité sur tout le cycle de vie des données. Phoenix facilite la mise en place d’une architecture SOA et assure une véritable valorisation de la donnée, en adaptant le traitement aux besoins de chaque organisation, depuis la collecte jusqu’à la prise de décision stratégique.
VVous souhaitez améliorer le traitement et la valorisation de vos données ?
Directeur Blueway Secteur Public
Résolument engagé dans la modernisation informatique du service public, Pierre travaille avec l’Etat et les collectivités depuis plus de 17 ans, spécialiste de ce secteur et de ses enjeux notamment sur les questions d’aide sociale, de transport, d’éducation, d’environnement.
