Vue d'ensemble
HCLTech Solution d’intégration intelligente aide à répondre aux exigences d’implémentation efficace des processus ETL pour simplifier les complexités et assurer la mise à l’échelle, la maintenabilité et la gouvernance des charges de travail de données dans un environnement AWS. En utilisant les services natifs AWS, cette solution automatise entièrement l’ingestion ETL par simple clic ou déclencheur d’événement et fournit des flux de travail ETL réutilisables déclenchés via AWS Step Functions, paramétrés pour recueillir les détails nécessaires de source de données pouvant être exploités pour intégrer toutes les sources de données AWS Glue prises en charge dans un bucket s3 brut ou l’entrepôt de données cible souhaité, pour une validation, une curation et un enrichissement supplémentaires de la qualité des données.
Principales caractéristiques
Évolution du schéma
Entièrement géré, assure l'intégrité des données lors des changements de schéma, améliore la traçabilité entre les différentes versions du schéma, notifie les changements de schéma à l'aide du mécanisme d'alerte dynamique, les changements de schéma n'affectent pas les flux de travail ETL existants
Pipeline ETL entièrement automatisé
Très évolutif et élastique pour gérer des charges de travail de données variables. AWS Glue et Amazon Kinesis prennent en charge une large gamme de sources de données et de formats de types de données
Flux de travail ETL réutilisable et transformation
Favorise la réutilisation du code, ce qui permet d'économiser des efforts de développement considérables
Catalogue de données centralisé
Contrôle accru des données ingérées avec une traçabilité complète pour l’audit et la conformité
Qualité des données (QD) et gouvernance
Améliore la précision des données grâce à un suivi approfondi de la qualité des données avec AWS Glue DataBrew
Mécanisme d’alerte dynamique, signalement et gestion des incidents
Elle est entièrement intégrée à la solution HCLTech iONA (iAct) pour créer automatiquement des incidents dans l’outil ServiceNow en cas d’événements de défaillance se produisant à n’importe quelle couche ETL, y compris les étapes d’ingestion, de CQ, de curation, d’enrichissement, avec des alertes par courriel appropriées aux utilisateurs autorisés