Introduction
L'analyse des journaux est un domaine crucial pour les clients afin de résoudre les problèmes d'applications, les problèmes de sécurité des applications, les incidents de sécurité de l'infrastructure et les pannes non désirées. De nombreux clients exploitent un environnement hybride, étendant leur infrastructure réseau sur site à une infrastructure infonuagique fournie par un fournisseur de services infonuagiques (CSP). La plupart des clients doivent stocker les journaux pendant une période spécifique afin de répondre à la conformité régionale et organisationnelle, mais le stockage de grandes quantités de données de journaux bruts représente également un défi en raison des coûts de stockage élevés. Une solution centralisée de gestion des journaux sur AWS peut relever ces défis en permettant aux clients de collecter, analyser et afficher les journaux en temps réel et de gérer efficacement le stockage.
Bien que les clients des services financiers, en particulier, profiteront des avantages de cette solution, les clients de tous les secteurs peuvent en profiter pour gérer efficacement les journaux d’infrastructure et d’applications et exécuter une analyse pour détecter les anomalies.
Les clients du secteur des services financiers, en particulier, profiteront des avantages de cette solution, mais les clients de tous les secteurs peuvent en profiter pour gérer efficacement les journaux d’infrastructure et d’applications, ainsi que pour effectuer des analyses afin de détecter les anomalies.
La solution HCLTech pour l’analyse des journaux de sécurité
Pour répondre à ces exigences et améliorer le processus d’analyse des journaux dans un environnement AWS, nous avons mis en place une solution que nous appelons le « Pipeline centralisé d’analyse des journaux ». Celle-ci est bâtie à partir d’une riche sélection de services AWS tels qu’Amazon OpenSearch Managed Cluster, Amazon OpenSearch Ingestion Pipeline, Amazon S3, Amazon SQS, Amazon CloudWatch et Amazon Kinesis Data Firehose Delivery Stream, ainsi qu’un logiciel open source : FluentD.
- La solution centralisée de gestion des journaux utilise FluentD (open source) pour recueillir les données de journaux provenant de diverses sources sur site comme les serveurs, pare-feux, mandataires web et dispositifs NIPS, ainsi qu’AWS Kinesis Data Firehose Delivery Stream pour collecter les journaux Amazon CloudWatch de plusieurs comptes et régions.
- Tous les journaux bruts provenant des environnements sur site et infonuagiques seront transférés dans Amazon S3 dans le dossier de catégorie de journaux respectif. Le classement intelligent de S3 est activé pour gérer l’espace de stockage des journaux.
- Un pipeline AWS OpenSearch Ingestion sera déclenché par un événement S3 PUT à l’aide de SQS pour lire, analyser et traiter les données de journaux. Il ingère également les données traitées dans les index dans Amazon OpenSearch Service, lequel contient un outil de visualisation appelé OpenSearch Dashboard pouvant effectuer l’analyse, la visualisation, des tableaux de bord, la détection d’anomalies, l’alerte et la génération de rapports.
- Comme fonctionnalité additionnelle, une dimension GenAI peut être ajoutée à cette solution lors de l’envoi des alertes aux utilisateurs et lors de la recherche dans les journaux depuis l’interface personnalisée. Les chaînes d’anomalies ou d’erreurs issues d’OpenSearch Service peuvent être envoyées aux administrateurs concernés via SNS. Par la suite, les administrateurs peuvent effectuer des recherches par REGEX, nom d’hôte, horodatage, etc. De plus, pour faciliter l’interrogation en utilisant le traitement du langage naturel et obtenir des solutions pertinentes aux problèmes signalés dans OpenSearch Dashboard, les détails de l’événement envoyés à l’administrateur peuvent être enrichis avec des solutions potentielles en intégrant des dépôts internes de connaissances/solutions (pouvant être hébergés sur AWS) avec MLOps en utilisant différents services AWS GenAI également.
Principaux avantages
Cette solution a été initialement développée pour répondre aux défis d’un client du secteur financier. Toutefois, elle peut être utilisée par tous les clients axés sur ce domaine. Voici les principaux avantages de cette solution :
- Gérer des données volumineuses pour stocker les journaux
- Collecte automatisée des journaux
- Fournir un stockage agrégateur pour stocker les journaux bruts
- Emplacement centralisé et sécurisé de stockage des journaux pour l’analyse et l’affichage
- Réanalyser les données en cas d’échec d’ingestion
- Réduire le coût de l’infrastructure
- Réduire les efforts à prévoir pour la gestion future
Architecture
La solution d’analyse des journaux de HCLTech est entièrement gérée, automatisée, centralisée et tolérante aux pannes. Cette solution peut stocker facilement les journaux, les analyser, détecter les anomalies et envoyer des alertes. Elle utilise les services natifs AWS, ce qui la rend facilement configurable, personnalisable et déployable dans tout environnement AWS du client avec des mises à jour et des améliorations faciles, tout en réduisant le coût total de possession comparativement à d’autres logiciels commerciaux.
Conclusion
HCLTech a lancé une solution gérée sur AWS Marketplace, qui aidera les clients à déployer rapidement une solution centralisée, automatisée, économique et tolérante aux pannes pour la gestion des journaux dans leur environnement. Pour en savoir plus sur la solution de gestion des journaux de HCLTech (CLAP), demander une preuve de concept ou discuter de besoins d’affaires particuliers, communiquez via offre AWS Marketplace ou écrivez-nous à AWSEcosystemBU@hcltech.com.
