Développement du lac de données financières
Introduction
Les grandes entreprises qui acquièrent d'autres sociétés sont souvent confrontées à des défis liés à l'intégration des systèmes financiers. Notre client, un conglomérat industriel figurant au palmarès Fortune 100, a acquis des dizaines d'entreprises au cours des dernières décennies, chacune possédant son propre système ERP et sa propre solution d'entrepôt de données, ce qui a généré des inefficacités limitant la performance et la rentabilité.
Le défi
Exigences techniques, opérationnelles et de sécurité interreliées
Chaque jour, les entreprises de notre client enregistrent des dizaines de milliers de transactions financières. Cela présente un ensemble unique de besoins pour un lac de données :
- Ingestion de données extrêmement granulaires — généralement au niveau de la transaction — en quasi temps réel
- Plus de 100 systèmes sources appartenant à plus de trente types différents
- Respect des exigences de la loi Sarbanes-Oxley (SOX)
- Zéro tolérance pour les incohérences de données
- Gestion de données volumineuses et complexes : 200 To de données d’entreprise comprenant plus de 25 000 domaines de données (tables) de plus de cinq cents types distincts
- Fournir une consommation simultanée des données et une ingestion continue
L’Objectif
Une source unique et hautement performante de vérité pour les rapports financiers
Pour optimiser la performance des systèmes de rapports financiers et réduire les coûts de licences, d’équipement et de personnel, notre client a lancé un projet visant à regrouper les différents entrepôts de données dans un seul lac de données pour les données financières.
La solution
Un lac de données à la fine pointe de la technologie, conforme SOX
L’équipe HCLTech a mis en place une architecture de lac de données dans laquelle les données brutes étaient d’abord dupliquées par ingestion dans une base de données relationnelle à traitement massivement parallèle. Par la suite, les données étaient répliquées vers des couches de consommation en mémoire et basées sur Hadoop pour une utilisation ultérieure, p. ex., pour l’agrégation et les applications de science des données.
- Données intégrées provenant de plus de 100 systèmes sources — dont plus de 50 progiciels Oracle et SAP (ERP) — dans une seule plateforme de lac de données financières, avec un chargement incrémentiel des données lorsque possible.
- Modèle de données standardisé pour les rapports communs et création de codes ETL utilisables et maintenables.
- Intégration miroir rendue possible avec HVR et Talend.
- Traitement ETL mis en œuvre avec une structure générique ETL pilotée par les métadonnées et des procédures stockées PL/pgSQL. Les tâches ETL sont orchestrées par Talend.
- La solution prend en charge une transformation ETL entièrement pilotée par les métadonnées, accélérant le cycle de développement.
- Mise en place d’un cadre robuste d’audit pour identifier les écarts et retraiter automatiquement les enregistrements.
- Réplication incrémentielle des données de Greenplum vers MemSQL mise en place avec un cadre de files d’attente personnalisé et la solution Talend via S3.
- Archivage des ERP inactifs de longue date au moyen d’un cadre d’archivage propriétaire capable d’archiver une version compressée de l’ERP à partir de toute base de données source dans une base PostgreSQL économique.
L'impact
Des données rapides et précises pour les fonctions critiques du service des finances avec une réduction des coûts opérationnels
La solution a permis un suivi détaillé des coûts de plateforme et d'infrastructure au niveau de l'entreprise/de la division, pour une large gamme d'avantages commerciaux et techniques :
- Économies prévues de 30 à 40 M$ grâce à l’élimination des entrepôts de données existants
- Jusqu'à 15 M$ d’économies annuelles pendant cinq ans grâce à l’archivage ERP
- Économies à six chiffres en USD des coûts de vérification grâce à des flux de données automatiques quotidiens au cabinet de vérification et à l’élimination des coûts associés aux vérifications sur site
- Augmentation de 30 % du traitement des transactions et de 50 % de la productivité dans les données et l’analytique
- Réduction de 80 % des efforts manuels requis pour le rapprochement des données financières dans le grand livre grâce à de nouveaux flux de données développés pour le système de gestion du rapprochement automatique
- Réduction du temps d’exécution de quelques minutes à quelques secondes et sécurité au niveau des lignes grâce à la base de données de rapports MemSQL pour la couche de consommation libre-service
Études de cas connexes
Cette étude de cas explore comment HCLTech a permis au client de réimaginer l’expérience de la photographie avec appareil photo et d’élargir sa portée sur le marché.
En savoir plus
Cette étude de cas examine la collaboration entre HCLTech et le client pour concevoir et déployer un système à la fine pointe de la technologie.
En savoir plus
Une plateforme SiL axée sur le virtuel a permis à un équipementier mondial d’accélérer la validation ADAS de niveau 3 grâce à des flux de travail modulaires et à TestSphere KDT, réduisant de 75 % l’effort de conception des tests et permettant des publications en moins d’une journée.
En savoir plus
Découvrez comment l’automatisation, l’enrichissement des métadonnées et des flux de travail unifiés ont transformé les opérations relatives au contenu d’une grande entreprise de médias.
En savoir plus
Unification de l’ingénierie mondiale avec Teamcenter sur une plateforme infonuagique évolutive
En savoir plus