« Les agents d’IA autonomes sont des entités logicielles capables de percevoir le contexte, de prendre des décisions et d’agir vers un objectif avec une intervention humaine limitée ou inexistante » - Mangesh Mulmule, vice-président et chef des ventes techniques, écosystème Google, HCLTech

À mesure que les agents autonomes se déploient à l’échelle de l’entreprise, la question stratégique passe de ce qu’ils peuvent faire à ce qu’ils devraient faire, et selon quelles règles ? Sans une gouvernance claire, les organisations favorisent l’émergence d’agents IA fantômes : des outils non autorisés qui fonctionnent en dehors de la visibilité officielle – à l’image des défis posés par l’informatique fantôme (Shadow IT). Les risques comprennent la fuite de données sensibles, des décisions non validées, des actions malveillantes, des violations de conformité et des atteintes à la réputation.

Les efforts de l’industrie sont centrés sur des normes pratiques. Le OWASP Top 10 pour les applications LLM, conçu pour répondre aux menaces liées aux LLM et aux systèmes agentiques, a défini les risques les plus critiques. Parallèlement, le cadre OCCULT du MITRE propose une manière structurée de mesurer et d’observer comment les agents IA mènent des actions offensives réelles telles que le déplacement latéral, le vol d’identifiants et l’énumération du réseau.

Cet article explique comment les cadres supérieurs peuvent mettre en place des balises d’entreprise, comme des politiques, des contrôles et une culture organisationnelle, afin de s’assurer que l’IA agentique est éthique, transparente et conforme aux attentes d’affaires et réglementaires, tout en empêchant la prolifération de l’IA fantôme.

Qu’est-ce que la gouvernance de l’IA agentique ?

« La gouvernance de l’IA agentique regroupe les politiques, contrôles et la supervision qui dirigent les agents d’IA autonomes à agir dans des limites sécuritaires, éthiques, légales et commerciales, tout en préservant la rapidité d’innovation » – Mangesh Mulmule, vice-président et chef des ventes techniques, écosystème Google, HCLTech

Les systèmes agentiques diffèrent des modèles prédictifs traditionnels. Ils ne se contentent pas de recommander ; ils planifient et agissent en collaboration avec d’autres agents, ce qui crée un ensemble unique de défis.

Une autonomie bien gouvernée accélère les résultats, réduit les goulets d’étranglement humains et rehausse la responsabilité. Ce changement exige davantage de contrôles, de visibilité et de surveillance automatisée, souvent grâce à ce que Gartner appelle des agents-gardiens, qui surveillent et, au besoin, bloquent d’autres agents.

Gartner prévoit que les agents-gardiens accapareront entre 10 à 15 % du marché de l’IA agentique d’ici 2030, soulignant la réalité opérationnelle selon laquelle la surveillance à grande échelle ne peut être assurée uniquement par des humains.

Gouvernance traditionnelle versus agentique

• La gouvernance traditionnelle de l’IA est axée sur la traçabilité des données, le risque du modèle, la validation et les tests avant le déploiement
• La gouvernance agentique ajoute des règles d’engagement en temps réel, notamment ce qu’un agent peut consulter, à quels moments il doit demander l’approbation humaine, comment enregistrer les actions et comment contenir les comportements inappropriés, y compris la mise hors service automatisée de l’agent

La communauté de la protection de la vie privée réagit en conséquence. IAPP souligne l’importance de mettre en place des garde-fous à plusieurs niveaux pour anticiper et gérer les risques émergents tout en permettant d’atteindre les objectifs opérationnels.

L’essentiel : La gouvernance agentique combine la gestion traditionnelle des risques liés à l’IA avec les manuels d’exploitation issus de la gestion de la fiabilité des sites (SRE), de la sécurité et de la conformité, qui sont appliqués en temps réel.

Pourquoi les garde-fous sont-ils nécessaires pour l’IA agentique ?

« Les garde-fous sont nécessaires, car les agents autonomes peuvent prendre des mesures irréversibles à la vitesse machine, amplifiant ainsi de petites failles de conception en d’importants échecs commerciaux, juridiques, opérationnels et de réputation » - Mangesh Mulmule, vice-président et chef de la présélection, Google Ecosystem, HCLTech

Risques liés aux agents d’IA clandestins :

• Exfiltration de données vers des modèles et des journaux tiers
• Traitement non conforme selon les normes de conformité, comme le RGPD et la CCPA
• Résultats biaisés ou trompeurs menant à des décisions médiocres ou dangereuses
• Surfaces d’attaque dues à l’injection d’invite, aux modules complémentaires non sécurisés et à une « agentivité excessive »
• Perte d’auditabilité et de responsabilité lorsque les actions ne sont pas consignées

Conséquences réelles :

1. Responsabilité du chatbot d’Air Canada : Un tribunal a déclaré la compagnie aérienne responsable après que le chatbot de son site a mal représenté les règles sur les tarifs en cas de deuil. La décision a souligné que les entreprises sont responsables des renseignements fournis par leur IA
2. Scandale des prestations pour enfants aux Pays-Bas : L’évaluation algorithmique a mené à des accusations frauduleuses injustifiées et a causé des préjudices graves aux familles. C’est une illustration des systèmes opaques qui érodent les droits et la confiance

Au-delà de ces cas, l’OWASP LLM Top 10 met en lumière des catégories d’attaques qui transforment des agents mal régis en vecteurs de violation.

À retenir : Les agents fantômes et l’autonomie non gouvernée multiplient les risques. Les garde-fous préviennent les événements d’envergure, mais en transformant la confiance tacite en contrôles démontrables – visibles par les parties prenantes, les organismes de réglementation et les clients – ils permettent également le passage à l’échelle.

Principes clés pour la gouvernance des systèmes d’IA agentique

Transparence et explicabilité

« La transparence et l’explicabilité signifient que les capacités d’un agent, ses contraintes, ses sources de données et sa logique décisionnelle sont visibles comme une mesure quantifiable pour les parties prenantes, et sont vérifiables par conception » – Mangesh Mulmule, vice-président et chef des préventes, écosystème Google, HCLTech

La transparence et l’explicabilité renforcent la confiance, la défendabilité réglementaire et une intervention rapide lors d’incidents. En cas d’incident, les organisations doivent reconstituer ce que l’agent savait, ce qu’il a décidé et pourquoi. Il est essentiel de disposer d’indicateurs mesurables du comportement des agents, car les erreurs et écarts peuvent s’introduire progressivement lors de l’intégration de données d’utilisation marginale.

Outils et techniques

• Journaux de décision/événement capturant les invites, les invocations d’outils, les entrées/sorties et les approbations
• Provenance et traçabilité grâce à la lignée des données et à l’étiquetage du contenu
• Fiches de modèle et d’agent décrivant l’utilisation prévue, les limites, les ensembles de données et les contrôles de risque.
• Indicateurs de performance mesurables pour les paramètres techniques, commerciaux et opérationnels des agents d’IA
• Vues contrefactuelles et rationnelles

L’IAPP recommande des garde-fous à plusieurs niveaux avec une documentation claire et les agents gardiens peuvent aussi générer des « explications d’enregistrement ».

Alignement sur l’éthique

Un agent aligné sur les valeurs respecte l’éthique d’une organisation, ses engagements envers la clientèle et ses obligations légales. Commencez par intégrer des principes comme l’équité, la dignité, la sécurité et l’impact environnemental dans la politique et dans les contraintes techniques.

Faites référence à des cadres largement utilisés pour appuyer votre approche, comme le Cadre de gestion des risques de l’IA du NIST, l’ISO/IEC 42001 et les codes de pratique de l’industrie.

Responsabilité et surveillance

Des lignes de responsabilité claires sont également non négociables. Les organisations doivent décider qui approuve les capacités des agents, qui donne le feu vert à des actions risquées et qui détient le téléavertisseur lorsqu’un problème survient.

Le modèle émergent est celui d’un humain dans la boucle appuyé par des agents gardiens qui examinent, surveillent et protègent en bloquant automatiquement les actions non conformes aux politiques.

Gouvernance en pratique : Les organisations devraient fixer des seuils, exiger des accès fondés sur les rôles et rendre obligatoire la déclaration des incidents avec une analyse de la cause fondamentale lors d’échecs d’agents ; tout comme pour toute autre activité liée à la sécurité.

10 pratiques exemplaires pour établir des garde-fous d’IA en entreprise

Pour bâtir des garde-fous clairement définis et efficaces, les organisations devraient traiter les systèmes d’IA autonomes comme des produits avec une responsabilité claire, une vision et une feuille de route.

1) S’entendre sur la tolérance au risque et les résultats à éviter absolument : Gartner recommande aux chefs du contentieux de mener des conversations structurées pour classifier les cas d’utilisation selon le risque et définir les résultats inacceptables.

2) Établir des flux d’approbation pour les capacités des agents : Traitez les nouveaux outils, modules complémentaires et sources de données comme des actifs soumis à gestion de changements qui requièrent une modélisation des menaces, une révision de la vie privée et une approbation d’affaires avant d’activer des actions telles que l’envoi de courriels, le déplacement de fonds ou l’accès à des données de production.

3) Mettre en œuvre un contrôle d’accès basé sur les rôles (RBAC) et le principe du moindre privilège : Accordez les permissions selon le rôle et le contexte. Décidez qui peut effectuer la tâche, à quoi il peut accéder, où résident les données ou systèmes et quand c’est permis. Cela réduit les dérapages accidentels.

4) Auditer les journaux de décisions de l’IA : Consignez tout, y compris l’invite reçue par l’agent, qui a approuvé l’action et quel a été le résultat.

5) Déployer des agents gardiens pour la surveillance. Commencez avec des réviseurs pour le contenu et l’exactitude, ajoutez des surveillants pour la conformité comportementale et aux politiques puis passez à des protecteurs pour bloquer automatiquement les actions dans les cas d’usage à fort impact.

6) Contenir et tester en continu : Utilisez des bacs à sable pour les nouvelles actions et testez en continu différents scénarios.

7) S’attaquer de front à l’IA fantôme. Publiez les outils approuvés, mettez en place des contrôles contre la perte de données et offrez des alternatives sécuritaires et consignées pour éviter que les employé·es contournent les règles. (L’IA fantôme résulte souvent de besoins non comblés.)

8) Divulguer de façon appropriée : Soyez clair lorsque le contenu est assisté par l’IA et lorsqu’un humain prend la décision. Gartner souligne l’importance des divulgations externes et internes dans la politique.

9) Former, simuler, mesurer les IPC : Faites des simulations de scénarios, mesurez les métriques clés sur les paramètres d’affaires, techniques et opérationnels, pratiquez l’escalade, la communication client et la remédiation.

10) Mesurer et rendre compte : Suivez les incidents évités par les agents gardiens, le pourcentage d’actions exigeant une approbation humaine et le temps de confinement. Faites un rapport trimestriel à un comité des risques.

Cadres émergents pour la gouvernance de l’IA agentique

Top 10 OWASP pour l’IA basée sur les LLM

De quoi s’agit-il : Une norme communautaire cataloguant les risques de sécurité les plus critiques dans les applications basées sur les LLM et les systèmes agentiques.

Éléments clés à opérationnaliser

• LLM01 Injection d’invite
• LLM02 Divulgation d’informations sensibles
• LLM06 Capacité excessive
• LLM08 Faiblesses des vecteurs et des incorporations

Cadre MITRE OCCULT

De quoi s'agit-il : Une méthode d'évaluation structurée proposée par des chercheurs de MITRE pour mesurer le potentiel des modèles à faciliter des opérations cybernétiques offensives si les agents sont exploités ou utilisés de façon abusive.

Comment cela aide

• Conception de test normalisée liée à des scénarios de menace réalistes (pas des exercices)
• Étalonnage et télémétrie qui mettent en évidence lorsqu'un modèle/agent franchit des lignes rouges.
• Signalement des risques aux organismes de gouvernance indiquant que certaines capacités nécessitent une sécurité supplémentaire

Comment instaurer la confiance dans les systèmes d’IA agentique

« La confiance se mérite lorsque les organisations peuvent démontrer que les décisions de l’IA agentique sont encadrées, observables, mesurables, corrigeables et alignées sur l’intention humaine » - Mangesh Mulmule, vice-président et chef de la présoutien, écosystème Google, HCLTech

Stratégies pour accroître la confiance

• Responsabilité visible : Publier les droits décisionnels, les chemins d’escalade et la façon dont les plaintes sont traitées
• Documents explicables : Fournir aux clients et aux vérificateurs un dossier accessible de ce qu’un agent a fait et pourquoi il l’a fait
• Surveillance proactive : Agents de surveillance qui examinent et bloquent, et humains qui approuvent les exceptions
• Paramètres sécuritaires par défaut : Tout simuler avant d’exécuter
• Transparence guidée par des politiques : Divulgations cohérentes sur l’IA et des canaux de retrait pour le contenu sensible

Conseils pratiques

• Commencez par des flux de travail à faible impact et exécutez des agents qui peuvent agir, mais nécessitent une confirmation humaine pour finaliser
• Mettez en place des seuils de confiance. En cas d'incertitude ou si la provenance des données est faible, transmettez à un humain.
• Conservez ce qui est nécessaire pour la performance, mais évitez d'accumuler des renseignements sensibles
• Invitez des évaluations indépendantes et publiez un résumé des conclusions et des correctifs
• Suivez et partagez des mesures de confiance, y compris les taux de faux positifs/négatifs, les actions bloquées et la satisfaction des clients après les interactions avec les agents

Un changement générationnel de capacité

L’IA agentique est un changement générationnel de capacité, mais ce pouvoir vient avec des responsabilités. Les agents autonomes peuvent offrir une échelle et une rapidité accrues, mais aussi générer des erreurs à la vitesse de la machine. La gouvernance permet aux organisations de maîtriser ces capacités sans sombrer dans le chaos.

À l’avenir, il sera possible d’établir des garde-fous en définissant des politiques, en mettant en œuvre des contrôles d’exécution et en ajoutant une surveillance automatisée. Il est important d’utiliser des cadres communautaires et de tout ancrer dans la transparence et la responsabilisation.

Les leaders proactifs n’attendent pas que les règlements ou les incidents les forcent à agir. Ils mettent en place des garde-fous dès maintenant, limitent l’IA clandestine en proposant des solutions sûres et sanctionnées, et mesurent la confiance comme un véritable résultat clé.

Il est essentiel de considérer la gouvernance agentique comme une capacité d’affaires fondamentale, car, dans un monde agentique, une bonne gouvernance représente un avantage concurrentiel important.

FAQ

1) Quelle est la différence entre un agent IA autonome et un modèle IA traditionnel ?
Les modèles traditionnels prédisent, alors que les agents agissent, planifient et accomplissent des tâches avec une intervention humaine limitée. Par conséquent, ils ont besoin de garde-fous rigoureux, pas seulement de tests avant leur déploiement.

2) Qu’est-ce qu’un agent IA clandestin et pourquoi est-ce risqué ?

Les agents IA clandestins sont des agents ou outils IA non sanctionnés, utilisés sans supervision informatique. Les risques incluent la fuite de données, le non-respect des normes et une autonomie excessive sans traçabilité ni approbation.

3) Quels garde-fous pour l’IA autonome chaque entreprise devrait-elle mettre en place en priorité ?

Contrôle d’accès basé sur les rôles (RBAC) et privilèges minimaux, flux d’approbation pour les actions à fort impact, registres de décisions immuables, catalogues d’outils sanctionnés et divulgations pour le contenu assisté par l’IA.

4) Comment OWASP et MITRE OCCULT s’intègrent-ils à la gouvernance de l’IA autonome ?

L’évaluation LLM Top 10 d’OWASP fournit des contrôles de sécurité concrets et OCCULT permet d’évaluer les capacités offensives/adverses.

5) Les organisations ont-elles vraiment besoin d’agents gardiens ?

Oui, alors que l’IA prend de l’ampleur, la supervision humaine ne pourra suivre. Gartner prévoit que les agents gardiens représenteront 10 à 15 % du marché de l’IA agentique d’ici 2030, agissant comme réviseurs, surveillants et protecteurs.

6) Comment les organisations peuvent-elles prévenir les risques juridiques liés aux erreurs des agents ?

Combinez des politiques claires et des divulgations avec des tests, l’humain dans la boucle pour les actions risquées, et une journalisation robuste.

7) Quel plan pragmatique sur 90 jours pour implanter des garde-fous pour l’IA autonome ?

Commencez par auditer l’utilisation de l’IA, puis approuvez une pile minimale sécuritaire, clarifiez les droits décisionnels, activez la journalisation et les contrôles d’accès basés sur les rôles (RBAC), et mettez à l’essai des agents gardiens.