Aperçu
L’architecture Medallion est un modèle de conception de données qui isole les données en trois couches progressives : bronze pour l’entrée brute, argent pour les modèles nettoyés et conformés, et or pour la livraison prête au métier. Chaque saut améliore la qualité et la structure, de sorte que les requêtes en aval ne lisent pas directement les sources brutes. L’analytique et l’IA consomment des tables fiables optimisées pour la lecture, tandis que l’historique brut reste intact pour l’audit ou la relecture du pipeline.
L’architecture Medallion et la section de l’entrepôt de données stratifié ci-dessous associent les couches aux niveaux classiques de l’entrepôt. Un design de médaillon définit comment les données sont raffinées, pas l’endroit où elles sont stockées. Une couche est un point de contrôle logique, pas un réseau de stockage physique, donc elle s’applique à une maison lacustre, un entrepôt classique ou un hybride des deux.
Points clés à retenir
- Chaque couche a besoin d’un objectif distinct, d’un propriétaire et d’une garantie de qualité
- Le modèle reste neutre par rapport au fournisseur, s’appuyant sur les concepts de staging, d’intégration et de présentation du complexe classique de l’entrepôt de données d’entreprise
- Les compromis incluent une empreinte de stockage dupliquée, une latence de pipeline et une dérive de portée, poussant les architectes à adapter le modèle à trois sauts fixes à la réalité
Architecture de médaillons comme motif à plusieurs sauts
L’architecture Medallion est également appelée « multi-saut », car les données passent d’une couche à la suivante. Elle s’exécute généralement sur un chalet lacustre. Chaque saut applique un ensemble défini de transformations et de vérifications.
Les couches de bronze, d’argent et d’or
Couche bronze : données brutes au fur et à mesure qu’elles arrivent
La couche bronze absorbe les données des systèmes sources exactement telles qu’elles viennent. Cela inclut les extraits de base de données, les flux de capture de données de modification (CDC), les journaux d’application, les fichiers JSON/CSV plats ou les flux d’événements bruts. Les enregistrements conservent leurs schémas d’origine, enrichis uniquement par des métadonnées de charge telles que les horodatages, les origines source et les identifiants de processus. Comme bronze est généralement uniquement en annexe, il conserve l’historique d’audit de ce qui est arrivé, permettant aux équipes de supprimer et reconstruire des tables aval corrompues sans relire les systèmes source.
Couche argentée : nettoyée, conformée et validée
La couche argentée de l’architecture médaillon transforme les enregistrements bruts en données fiables et conformes. Les pipelines à cette limite appliquent des schémas stricts, éliminent des doublons, gèrent les valeurs nulles, standardisent des codes et unités, et associent des enregistrements source disparates à des entités d’entreprise partagées telles que clients, produits et comptes. Parce que les tables argentées restent au niveau des détails granulaires plutôt que de se regrouper en agrégats, elles deviennent l’espace de travail principal pour les ingénieurs de données, les data scientists et les analystes ayant besoin de détails flexibles et validés.
Couche dorée : données prêtes pour les affaires
La couche or sélectionne les données argentées pour des modèles de consommation distincts, tels que des schémas dimensionnels en étoile pour les BI, des métriques pré-agrégées pour les tableaux de bord exécutifs, des tables de fonctionnalités denses pour les modèles d’apprentissage automatique, et des ensembles de données sélectionnés pour les applications d’IA. Les tables Gold fixent les règles métier d’entreprise, comme le calcul exact du chiffre d’affaires reconnu. Elles optimisent aussi la performance en lecture, échangeant le stockage pour moins de jointures en temps d’exécution et une concurrence prévisible.
| Dimension | Bronze | Argent | Or |
|---|---|---|---|
| Objectif | Poser et préserver les données sources | Nettoyer, conformer et intégrer | Servir des usages professionnels spécifiques |
| État des données | Brut, tel qu’il est livré, généralement uniquement en appendice | Validé, dédupliqué, détaillé | Agrégé, modélisé, curé |
| Modèle typique | Structures source plus métadonnées de charge | Normalisé ou style Data Vault | Dimensionnel (schémas étoilés), tables de caractéristiques |
| Utilisateurs principaux | Ingénieurs de données | Ingénieurs de données, data scientists, analystes | Analystes métier, outils BI, ML et applications d’IA |
| Tolérance de changement | Absorbe les modifications de la source | Évolue avec les changements de source et d’entité | Définitions stables avec modifications versionnées |
Voici un exemple d’architecture de médaillons. Un détaillant réalise les transactions de point de vente et les commandes web en bronze exactement au moment où chaque système les envoie. En argent, les deux flux sont dédupliqués, les codes produits sont standardisés, et chaque commande est liée à un seul dossier client. En or, les données deviennent un tableau des ventes quotidien par magasin et produit, et un tableau des caractéristiques client pour un modèle de prévision de la demande.
Comment les données circulent dans une architecture de médaillons
Les pipelines entre les couches remplissent deux tâches. Ils transforment les données et décident si les données sont aptes à être transférées. Les vérifications sont décrites sous Portes de qualité entre les couches.
ETL ou ELT ?
L’architecture Medallion suit généralement un motif extract, load, transform (ELT) plutôt que le classique extract, transform, load (ETL). Les systèmes déversent d’abord les flux bruts dans le bronze, exécutant nativement les transformations lourdes à l’intérieur de la plateforme pour pousser les disques vers l’argent et l’or. Cependant, des houbillons spécifiques, comme l’assemblage d’un agrégat d’or complexe à partir de plusieurs tables d’argent, peuvent toujours reposer sur un traitement lourd de type ETL.
Pipelines batch et flux
L’architecture ne nécessite pas de lots nocturnes. Avec les données en streaming, les événements atterrissent en bronze en continu, et les pipelines incrémentaux transportent de nouveaux enregistrements vers l’argent et l’or. Les formats modernes de tables ouvertes permettent cela en suivant précisément les historiques de commits, permettant aux tâches en aval de récupérer uniquement les deltas au lieu de rescanner des tables entières. En production, les équipes mélangent régulièrement les deux modes d’exécution, diffusant les voies qui alimentent la BI opérationnelle tout en regroupant les tâches historiques lourdes.
Architecture Medallion et entrepôt de données stratifié
Bien avant que le nom médaillon ne devienne courant, les architectes d’entrepôts de données d’entreprise divisaient les environnements en une zone de mise en production, un noyau d’intégration et un niveau de présentation de data marts. Le staging absorbait les extraits source, l’intégration les adaptait en un modèle d’entreprise fixe, et les marts desservaient des départements spécifiques. L’architecture des médaillons peut être associée à cette discipline classique :
| Couche de médaillon | Couche d’entrepôt traditionnelle | Approche typique de modélisation des données |
|---|---|---|
| Bronze | Zone de rassemblement / zone d’atterrissage | Tables en forme de source, souvent conservées seulement brièvement dans les modèles plus anciens |
| Argent | Couche d’intégration, magasin de données opérationnel, noyau d’entrepôt de données d’entreprise | Troisième formulaire normal ou Data Vault pour l’historique et l’auditabilité |
| Or | Couche de présentation, data marts, couche sémantique | Modèles dimensionnels (schémas étoilés) et agrégats |
Le changement réside dans l’économie du stockage et les architectures de tables ouvertes. Les entrepôts traditionnels purgaient fréquemment les zones de staging après le chargement pour éviter les coûts disque. Un stockage d’objets bon marché rend désormais abordable la conservation complète de l’historique brut. Les formats de tables ouvertes comme Apache Iceberg et Delta Lake ajoutent un support fiable des transactions de type base de données à ce stockage, qu’il soit situé dans un lac de données ou dans un entrepôt de données. Pour les équipes expérimentées d’entrepôts de données d’entreprise, la principale différence réside dans une couche brute plus durable, tandis que les paradigmes fondamentaux de modélisation des données restent inchangés.
Qualité des données et gouvernance à travers les couches
Le modèle est autant un modèle de gouvernance qu’un modèle de pipeline. Chaque limite de couche fournit un point de contrôle pour mesurer la santé des données, la lignée d’exécution des logs et appliquer les contrôles d’accès. Comme le motif est neutre par rapport au fournisseur et largement utilisé comme vocabulaire partagé, ses limites de couche offrent aux équipes un lieu standard pour appliquer ces contrôles.
Portes de qualité entre les calques
Les environnements de production ancrent leurs contrôles de qualité des données directement aux frontières de transition, resserrant le système de règles à mesure que les données avancent en aval.
- Entre bronze et argent : Les portes couvrent la validation du schéma et du type, les champs obligatoires, la détection de doublons, les vérifications référentielles contre les données de référence, ainsi que la mise en quarantaine pour les enregistrements échouant.
- Entre l’argent et l’or : Les portes couvrent les vérifications des règles métier, la conciliation des totaux par rapport aux systèmes d’origine, les objectifs de fraîcheur et les tests sur les définitions des métriques.
- Sur l’or : La surveillance couvre les baisses de volume, les valeurs inhabituelles et les modifications de schéma qui pourraient casser les tableaux de bord, modèles ou applications d’IA en aval.
Lignée, accès et propriété
Parce que chaque jeu de données occupe une couche clairement définie, la lignée des données retrace une métrique or suspecte via une logique argentée jusqu’à l’enregistrement source bronze en cause, comprimant ainsi l’analyse de la cause racine. Les contrôles d’accès se resserrent naturellement en amont. Bronze détient fréquemment des PII et des données brutes limitées aux ingénieurs principaux, tandis que les tables or masquées sont largement exposées à l’entreprise. Attribuer une propriété claire de la couche renforce la gouvernance opérationnelle des données, transformant des tables or bien documentées en produits de données réutilisables avec une sémantique et des niveaux de service définis sur une base de données ouverte et connectée.
Compromis et alternatives en architecture à médaillons
Les architectes doivent prévoir les coûts et compromis suivants :
- Chaque couche stocke une autre version des données, ce qui permet d’avoir plus de copies et plus de stockage ; conserver l’histoire complète du bronze s’additionne pour des sources à grand volume
- Chaque saut ajoute du temps de traitement et de la latence, donc une conception uniquement batch peut être trop lente pour les cas d’usage opérationnels
- Les couches peuvent dériver lorsque les équipes interrogent le bronze comme s’il était propre, ou empiler la logique métier dans l’argent jusqu’à ce qu’elle devienne une couche en gras non documentée
- Les pipelines qui lisent plusieurs couches à la fois entremêlent les couches, ce qui rend la lignée difficile à suivre et rend les changements risqués
Quand ajouter ou supprimer des calques
Les trois couches sont une convention, pas une règle. Les plateformes plus petites fusionnent parfois l’argent et l’or, ou sautent une couche bronze persistante pour des sources pouvant être réextraites à moindre coût. Les plus grandes ajoutent des couches, comme une zone d’atterrissage devant le bronze pour les fichiers qui n’ont pas encore été enregistrés, ou une quatrième couche « platine » que certains praticiens proposent pour des analyses opérationnelles à faible latence et des produits de données premium. Le test est le même dans tous les cas. Chaque couche doit avoir un objectif, un propriétaire et une garantie de qualité distincts.
Calques médaillons dans un maillage de données
Dans un maillage de données, chaque domaine métier peut exécuter ses propres couches médaillons et publier ses tables d’or sous forme de produits de données. Un domaine consommateur peut alors traiter la sortie d’or d’un autre domaine comme sa propre entrée en bronze, au lieu de recopier les sources brutes. Cette approche fédérée évolue entre équipes mais nécessite des standards partagés pour les formats, les métriques de qualité et la dénomination afin d’éviter la dérive de domaine.
Couches Medallion sur une base de données ouverte et connectée
L’architecture Medallion offre à chaque jeu de données un emplacement clair et un objectif clair. Le bronze préserve l’histoire brute. L’argent en transforme en détails propres et adaptés. Et l’or fournit des données prêtes pour l’entreprise et l’IA. Chaque couche possède un propriétaire, une garantie qualité et des contrôles à chaque saut. Le schéma s’applique aussi bien à une maison lacustre, à un entrepôt classique ou à un hybride. Les équipes devraient adapter le nombre de couches à leurs besoins plutôt que de traiter trois comme une règle.
Mettre ce modèle en pratique nécessite une plateforme qui maintient les couches gouvernées, ouvertes et connectées. Cela signifie travailler avec des formats de table ouverte comme Apache Iceberg et Delta Lake, supporter côte à côte les charges de travail des entrepôts de données d’entreprise et de lakehouse, et permettre aux domaines de partager des produits de données fiables sans copier les données vers un autre stock.
Les couches ne créent la confiance que lorsque la plateforme sous-jacente les maintient gouvernées, ouvertes et connectées. Découvrez comment la plateforme autonome de connaissances Teradata relie données, analyses et IA à partir de données d’entreprise fiables.
Questions fréquemment posées
Quelle est la différence entre une architecture de médaillon et une architecture de maison de lac ?
Quelle est la différence entre une architecture de médaillon et une architecture de maison de lac ?
Une maison de lac est une architecture de stockage et de traitement qui ajoute une gestion et des transactions de type entrepôt au stockage de lacs de données. L’architecture Medallion organise les données selon le niveau de raffinement. Les deux sont souvent utilisés ensemble, mais chacun fonctionne sans l’autre.
L’architecture des médaillons est-elle encore pertinente ?
L’architecture des médaillons est-elle encore pertinente ?
Oui, comme vocabulaire partagé et structure par défaut pour les pipelines de données.
Combien de couches une architecture de médaillons a-t-elle besoin ?
Combien de couches une architecture de médaillons a-t-elle besoin ?
La troisième est la convention : bronze, argent et or. Certains designs les fusionnent ou les ajoutent, comme la quatrième couche « platine » que certains praticiens utilisent pour des produits de données haut de gamme.
Quelle est la différence entre l’architecture de médaillons et le data vault ?
Quelle est la différence entre l’architecture de médaillons et le data vault ?
L’architecture Medallion organise les données en couches bronze, argent et or selon leur niveau de raffinement. Le coffre de données est une méthode de modélisation permettant de conserver l’historique et l’auditabilité. Les deux sont souvent combinés. Un modèle normalisé ou de coffre de données est généralement situé en argent, et les schémas d’étoiles dimensionnels sont souvent placés en or.
Quelle est la différence entre l’architecture de médaillons et un entrepôt de données ?
Quelle est la différence entre l’architecture de médaillons et un entrepôt de données ?
Un entrepôt de données est l’endroit où les données intégrées sont stockées et modélisées. Une architecture de médaillon est un modèle de conception pour affiner les données par étapes, afin qu’elles puissent fonctionner sur une maison lacustre, un entrepôt classique ou un hybride. Dans un entrepôt, le bronze correspond à la zone de mise en place, l’argent à la couche d’intégration et l’or à la couche de présentation et aux datamarts.