Avec l’introduction de Agentic AI, les grands modèles de langage (LLM) s’intègrent de manière plus approfondie aux principaux processus organisationnels. HCLTech développe plusieurs solutions d’Agentic AI pour offrir à ses clients des systèmes autonomes capables de raisonnement indépendant, de prise de décision et de collaboration, nécessitant une supervision humaine minimale. Ces systèmes augmentent la productivité et l’efficacité opérationnelle dans de nombreux domaines. Les LLM assurent une fonction essentielle pour l’Agentic AI– ils sont les moteurs cognitifs de ces agents, procurant capacités de raisonnement, de compréhension du langage naturel et de prise de décision. Cependant, les organisations doivent répondre à des questions clés pour assurer la sécurité, la conformité et la gouvernance de ces outils puissants mais potentiellement imprévisibles.

• Des acteurs malveillants peuvent manipuler les LLM à l'aide de requêtes soigneusement conçues pour contourner les contrôles prévus, accéder à des données sensibles ou effectuer des actions non autorisées
• Les attaquants pourraient injecter des données malicieuses dans l’ensemble de données d’entraînement, ce qui peut corrompre le comportement du modèle, entraînant des résultats biaisés, une dégradation des performances ou même l’exécution d’instructions nuisibles
• L’utilisation de modèles préentraînés provenant de sources non fiables peut présenter un risque de failles cachées ou de code malveillant à l’intérieur du modèle

Ces scénarios ne sont pas que théoriques : ils représentent des dangers réels auxquels les entreprises doivent faire face. De plus, les hallucinations, les biais et les incohérences dans la sortie des LLM peuvent nuire aux opérations commerciales et à l’expérience client.

Google Cloud et HCLTech accompagnent les organisations à adopter une approche réfléchie et équilibrée pour encadrer les LLM et sécuriser les applications utilisant l’Agentic AI.

Secure AI Framework (SAIF)

En 2023, Alphabet a présenté le Secure AI Framework (SAIF), un ensemble de principes directeurs pour aider les développeurs à créer des systèmes d’IA dotés de solides garde-fous de sécurité. SAIF traite la sécurité à tous les niveaux de l’IA, y compris l’infrastructure, les données, les modèles et les applications. Le cadre repose sur six éléments fondamentaux :

1. Renforcer des bases solides de sécurité pour l’écosystème IA – S’appuyer sur les infrastructures sécurisées existantes et bâtir une expertise interne en adaptant les mesures de sécurité actuelles pour se défendre contre de nouvelles menaces propres à l’IA (comme l’injection de requêtes), tout en faisant évoluer et croître continuellement les stratégies de sécurité pour suivre le rythme des progrès de l’IA et des menaces émergentes.
2. Étendre la détection et la réponse pour intégrer l’IA à l’univers des menaces organisationnelles – Surveiller proactivement les systèmes d’IA pour détecter toute activité inhabituelle et utiliser les renseignements sur les menaces afin de prévoir les risques potentiels. Cela requiert la collaboration entre les équipes de confiance et sécurité, de renseignement sur les menaces et de contre-abus. L’objectif est de repérer rapidement les problèmes de sécurité de l’IA et d’y répondre efficacement.
3. Automatiser les défenses afin de suivre le rythme des menaces existantes et nouvelles – Utiliser l’IA pour accélérer et faire évoluer les réponses aux incidents de sécurité. Comme les attaquants utiliseront l’IA pour amplifier leurs attaques, les défenseurs doivent également s’appuyer sur l’IA afin de rester agiles et rentables dans leur protection.
4. Harmoniser les contrôles au niveau des plateformes pour assurer une sécurité cohérente à travers l’organisation – Établir des cadres de sécurité normalisés pour la gestion des risques liés à l’IA et appliquer des protections uniformes pour toutes les plateformes et tous les outils d’IA. Ceci offre une sécurité évolutive et rentable pour toutes les applications d’IA. Des exemples incluent l’extension des valeurs par défaut sécurisées aux plateformes d’IA et l’intégration de la sécurité au processus de développement logiciel.
5. Adapter les contrôles afin d’ajuster les mesures d’atténuation et d’accélérer les boucles de rétroaction pour le déploiement de l’IA – Améliorer continuellement la sécurité grâce à des tests et à des ajustements en fonction de l’évolution des menaces. Il s’agit notamment d’utiliser l’apprentissage par renforcement à partir des incidents et des retours utilisateur pour affiner les modèles, mettre à jour les données d’entraînement et intégrer la sécurité directement dans les logiciels de création de modèles.
6. Contextualiser les risques des systèmes d’IA au sein des processus organisationnels – Avant le déploiement, effectuer des évaluations de risques approfondies. Cela inclut l’évaluation des risques organisationnels globaux, comme la traçabilité des données, et la validation de la performance de l’IA par des vérifications automatisées.

Les entreprises devraient envisager d’adopter le SAIF lors de la mise en œuvre d’IA et d’Agentic AI. Ce cadre offre plusieurs avantages clés :

• Établit des normes de sécurité claires pour concevoir et déployer les applications d’IA de façon responsable
• Propose des considérations pratiques pour l’implantation
• Adresse les risques de sécurité associés aux systèmes d’IA afin de se protéger contre les attaques pouvant mener à de mauvaises décisions, des compromissions de contrôle des systèmes et des violations de données
• Permet une utilisation sécuritaire de l’IA avec des données sensibles
• Fournit des pratiques exemplaires pour la protection des données en temps réel
• Une gouvernance et des contrôles de sécurité robustes couvrent les trois piliers – personnes, processus et technologie

HCLTech appuie l’approche Google Cloud pour la mise en œuvre du SAIF

1. Comprendre le cas d’usage de l’IA : L’IA répond-elle à un problème organisationnel ? Quelles données sont requises pour entraîner le modèle ? Comprendre le problème permet de définir la portée et l’impact potentiel de l’IA. Connaître la nature, le volume et la source des données aide à cerner les aspects de sécurité, de confidentialité et d’éthique des données, et à identifier les politiques, protocoles et contrôles nécessaires à mettre en œuvre avec le SAIF.
2. Former une équipe multidisciplinaire : Pour constituer l’équipe dédiée au développement IA, inclure des représentants de divers domaines — affaires, sécurité, génie infonuagique, gestion des risques et audit, développement, confidentialité, légal et science des données, pour n’en nommer que quelques-uns. Cela permettra d’assurer une approche globale et bien encadrée du développement IA, tenant compte des aspects éthiques, des risques potentiels, des exigences de conformité et de l’alignement avec les objectifs organisationnels.
3. Uniformiser la compréhension en offrant une introduction à l’IA : Il est essentiel de s’assurer que tous les membres de l’équipe, y compris les parties prenantes non techniques, aient une compréhension de base du cycle de développement des modèles d’IA, incluant la conception, la logique, les capacités, les avantages et les limites de l’IA. Cela favorise des attentes réalistes et augmente les chances de réussite et de création de valeur grâce à la mise en œuvre de l’IA.
4. Appliquer les éléments du SAIF : Une fois les cas d’usage identifiés et l’équipe constituée et formée, vous pouvez appliquer les principes du SAIF à votre cycle de développement IA. Il est important de noter qu’il n’y a pas d’ordre prescrit pour leur utilisation ; il est possible de les appliquer en parallèle afin de s’assurer que le système d’IA soit déployé de façon sécuritaire et responsable.

Google Cloud Model Armor

Model Armor est une nouvelle capacité du Security Command Center de Google Cloud permettant aux entreprises de se protéger de façon proactive contre diverses menaces pesant sur les systèmes d’IA et de mettre en œuvre des éléments du SAIF. Il analyse les entrées des utilisateurs, c’est-à-dire les requêtes et réponses des LLM, afin de détecter et prévenir l’injection de requêtes, les contenus nuisibles, la perte de données et les URL malicieuses. Il est compatible multi-nuages, multi-modèles et multi-LLM, permettant aux organisations de l’intégrer à leur cycle de développement IA. Son intégration avec le Security Command Center offre une gestion centralisée des politiques de sécurité. L’architecture basée sur des points d’accès régionaux assure des opérations à faible latence.

Conclusion

L’Agentic AI est la nouvelle frontière et utilise les LLM comme moteur cognitif. Cela permet aux agents agents d’analyser et de générer du texte de type humain, les rendant plus interactifs et adaptatifs. Contrairement aux chatbots, qui sont limités à des réponses prédéfinies aux requêtes, les agents agentiques disposent de capacités d’apprentissage sophistiquées, peuvent gérer des tâches complexes à plusieurs étapes et coopérer avec d’autres agents. Pour tirer parti du potentiel transformateur de ces agents, il faut une approche ciblée afin d’éviter des risques majeurs de sécurité et de gouvernance comme l’injection de requêtes, l’empoisonnement des données et les problèmes d’intégrité des modèles.

Les organisations doivent faire preuve de proactivité et adopter des cadres d’IA responsable comme le SAIF d’Alphabet pour atténuer ces risques. Des outils tels que Model Armor peuvent faciliter la mise en œuvre concrète de ces cadres. L’utilisation de cadres d’IA sécurisés et la mise en place des outils et des mesures de protection appropriés sont essentielles pour permettre aux agents agentiques d’offrir des résultats sûrs, fiables et responsables.