Modern Data Stack, une approche du pilotage des données poussées par le Cloud et dédiée au business

Une « data stack » fait référence à l’ensemble des outils et des technologies utilisés pour extraire, transférer, stocker, traiter et analyser des données. Et ces dernières années, la façon d’aborder cette « pile de données » a considérablement changé. Cette évolution est liée à la part grandissante du recours au Cloud, d’où découlent toutes les mutations récentes : puissance de calcul, scalabilité, baisse des coûts de stockage, remplacement des approches d’extraction et de traitement traditionnels de la donnée… Dans ce contexte Cloud, il convient alors de parler de « Modern Data Stack », dont les subtilités vont nous être dévoilées par Alexis de Saint Jean, directeur de l’innovation chez Blueway.

Pouvez-vous nous dire ce qui se cache derrière le terme Modern Data Stack ?

Toute la gestion de la data qui est faite sur des serveurs On Premise pourrait être nommé « Old Data Stack », la « Modern Data Stack » (ou MDS) est celle qui est supportée par le Cloud. Elle est caractérisée par sa flexibilité, son élasticité, son accessibilité/ simplicité et aussi par un nouveau modèle de facturation (à l’usage).Cette notion de modern data stack englobe aussi une bonne part de marketing et de « naming » : donner un nom différent à quelque chose d’existant pour tenter d’en faire une nouveauté et créer son propre segment.

« La modern data stack revient à dire : je fais de la data dans le Cloud avec plus ou moins de code, en utilisant des méthodologies de delivery plutôt issue du monde Agile. »

Alexis de Saint Jean, Directeur de l’innovation

Avec moins de code spécifique (type Python/ Spark), cette Data Stack modernisée est également plus simple d’accès pour les métiers. Il faut en effet avoir en tête que chaque couche (ou fonctionnalité) d’une MDS est spécialisée. Et celle qui est orientée métier est développée en SQL, le langage de base de données (BDD) le plus classique qui soit. Les équipes métier (de plus en plus « technophile ») sont alors en capacité de créer leurs propres indicateurs, en toute autonomie. C’est un élément important car aujourd’hui le besoin en data engineers (qui codent le chargement des données en Python ou en Scala par exemple) a littéralement explosé. On comprend donc aisément que si toute la partie transformation peut se faire simplement en SQL, elle est accessible à beaucoup plus de profils. Snowflake représente dans ce contexte l’une des plus importantes plateformes ambassadrices de cette MDS.

« Une Modern Data Stack permet de combiner de la flexibilité, de gros volumes de données (Big Data) et d’importantes capacités de calculs apportés par le Cloud, tout en s’affranchissant de la contrainte d’avoir recours aux langages de programmation comme Python, Scala ou Spark, pour lesquels il existe une très forte tension sur les ressources. »

Alexis de Saint Jean, Directeur de l’innovation

Pourquoi moderniser sa data stack ?

Dans les étapes de construction d’un flux data « classique » entrent en jeu des processus que l’on appelle ETL (Extract-Transform-Load). Ces derniers permettent d’extraire la donnée des systèmes sources, de faire des transformations directement dans leur moteur puis de tout charger dans des tables cibles. Mais cette étape de transformation peut rapidement devenir très compliquée dès lors qu’il faut traiter de gros volumes de données, comme c’est le cas dans un contexte Cloud .

Dans ce cas de figure, il faut préférer une approche ELT (Extract-Load-Transform) pour extraire la donnée des systèmes sources, puis tout charger sans transformation directement dans une BDD Cloud, pour enfin faire les transformations « in DB ». Cette méthode est plus adaptée car les ressources dans le Cloud sont beaucoup plus vastes, ce qui facilite ce travail de transformation sur des volumes importants. 

« Une des principales différences entre une « Old Data Stack » et une « Modern Data Stack » est de systématiser l’approche ETL à une approche ELT, c’est-à-dire dans le positionnement de l’étape initiale de transformation de la donnée. »

Alexis de Saint Jean, Directeur de l’innovation

Y a-t-il un rapport entre la maturité data d’une entreprise et une Data Stack moderne ?

La MDS n’est pas forcément liée à la maturité data d’une organisation. Il est tout à fait possible de trouver une organisation avec une très forte maturité dans la gestion de la donnée, mais qui possède également des contraintes particulières qui font que ces données vont rester sur site sans pouvoir être déplacées dans le Cloud. Cela n’empêchera donc pas pour autant le pilotage de cette organisation par la donnée, même sans Modern Data Stack. La partie « moderne » d’une Data Stack est donc plus liée à l’utilisation d’une technologie et méthodologie qu’à une maturité IT.

« Derrière la notion de Modern Data Stack, on trouve une approche marketing qui permet de segmenter des marchés et de pouvoir rapidement identifier l’appartenance d’une solution donnée à un écosystème. »

Alexis de Saint Jean, Directeur de l’innovatiion

Quelle est la place de Blueway et de sa plateforme associant ESB, MDM, BPA/BPM et APIM dans ce contexte ?

Dans un écosystème source très hétérogène, Cloud et On Premise, formé par des API, des fichiers plats, des ERP ou autres, Blueway, avec sa plateforme Phoenix, est tout indiqué pour transporter toutes ces données -sans avoir à les transformer- vers un socle unique. Notre structure peut être pilotée par des évènements pour gérer cette extraction, mais elle est également très flexible et répond ainsi aux organisations qui souhaitent une approche complète de récupération de la data.

La force de la plateforme Phoenix réside donc dans cette capacité d’alimentation de premier niveau, c’est-à-dire de récupération des données depuis n’importe quel système, de façon gouvernée et supervisée vers un socle initial de MDS. Ce qui est particulièrement intéressant pour les organisations en phase de transition « move to cloud », celle-ci pouvant s’avérer complexe avec des systèmes  « Legacy ».   

« Avec sa large gamme de connecteurs, Blueway représente la toute première brique d’une Modern Data Stack ! »

Alexis de Saint Jean, Directeur de l’innovation