En l’absence d’un schéma de référence identifié pour les différentes sources de données, l’objectif principal de notre client était d’utiliser une plateforme unifiée qui offrait une interface commune pour l’ingestion de différentes sources de données. De plus, leurs équipes des ventes, du marketing et des finances voulaient surveiller la performance des ventes et des campagnes marketing et obtenir des informations en temps opportun durant les lancements de produits afin de suivre le comportement d’achat des clients et de se préparer pour le prochain lancement de produit. Enfin, ils cherchaient à optimiser leurs coûts liés à l’embauche de ressources qualifiées pour gérer de multiples sources de données.

HCLTech a mis en œuvre la Databricks Data Intelligent Platform afin de fournir des solutions de migration de données au client. L’interface de la plateforme unifiée a permis l’intégration de différentes sources de données sans aucun effort de redéveloppement. Elle a permis une maintenance d’applications fluide et a pris en charge les tâches de gestion des données, y compris l’intégration, la gestion des métadonnées, les flux de travail automatisés, l’analytique et la visualisation des tableaux de bord. Les outils ETL intégrés ont permis une extraction, une transformation et un chargement des données efficaces, tout en offrant l’automatisation et l’évolutivité.

HCLTech a conçu un pipeline générique d’ingestion de données pour la plateforme Adobe Experience Platform (AEP) et d’autres sources de données sur Databricks Lakehouse qui pouvaient être configurés pour se connecter à n’importe quelle source de données tout en effectuant dynamiquement des transformations et l’ingestion dans le système cible Databricks Lakehouse. Nous avons créé des modèles de données comme la détection d’anomalies pour une prise de décision éclairée. Cela a permis à notre client d’analyser le comportement des clients sur le site Web du client pour effectuer des analyses de ventes et de marketing.

La plateforme personnalisée construite par HCLTech pouvait effectuer des contrôles de validation dans Databricks pour garantir la qualité des données comportementales des utilisateurs. La détection d’erreurs était effectuée automatiquement depuis le système source grâce à des notifications push. Nous avons construit des tableaux de bord de rapports en libre-service afin de fournir de meilleures informations aux utilisateurs d’affaires tout en chiffrant les renseignements personnels identifiables (PII). La surveillance planifiée du tableau de bord d’état du pipeline a également permis le suivi du processus ETL.

Notre client a apprécié les avantages de la source de données unifiée de Databricks et son architecture de lakehouse, qui combine les fonctionnalités des entrepôts de données et des lacs de données. Avec Databricks, nos clients pouvaient gérer plus efficacement les tâches de rapports et d’audit en utilisant les carnets Databricks, où les scripts SQL et Python pouvaient être intégrés sans problème avec SPARK.