Responsabilité : l’élément manquant pour un déploiement sécurisé de l’AI à grande échelle

De l’évaluation des risques à la gouvernance opérationnelle, les organisations doivent intégrer la responsabilisation à chaque étape du déploiement d’une IA agentique afin de créer de la valeur tout en minimisant les risques.
6 min de lecture
Tarun Goyal
Tarun Goyal
Vice-président, HCLTech
6 min de lecture
Éviter les futures catastrophes agentiques en créant une architecture de responsabilisation

Lorsque je vois des statistiques qui indiquent que 97 % des entreprises explorent l’AI agentique, mais que seulement 12 % disposent d’un contrôle centralisé, je suis vraiment inquiet. L’AI est tellement puissante. Avec la programmation assistée par l’AI, les solutions peuvent être développées incroyablement rapidement. Mais sans garde-fous intégrés, il est évident que de nombreuses entreprises se dirigent vers de sérieux problèmes.

Le risque fondamental n’est pas l’incapacité des agents à se généraliser ou à automatiser efficacement le travail. Au contraire, les plus grandes catastrophes surviendront lorsque les agents réussiront mais iront dans la mauvaise direction sans que personne n’en soit responsable.

Ce n’est pas un nouveau problème. En 1979, IBM utilisait ce message dans une présentation interne : « Un ordinateur ne peut jamais être tenu responsable. C’est pourquoi un ordinateur ne devrait jamais prendre de décision de gestion. »

La solution n’est pas de tout ralentir. Dans le monde de l’AI, les ordinateurs peuvent et devraient prendre des décisions de gestion. Le défi est de s’assurer que ces décisions soient prises avec une pleine reddition de comptes. D’après ce qui a fonctionné chez les premiers utilisateurs, je propose un programme en quatre étapes pour se préparer à déployer la technologie agentique à grande vitesse en toute sécurité.

Étape 1 : Évaluer les risques

La première étape consiste à comprendre la nature de la technologie agentique afin que les risques puissent être évalués et catégorisés. L’AI n’exécute pas uniquement des règles comme la RPA ou les générations précédentes de technologies d’automatisation des processus d’affaires, où ceux qui établissaient les règles étaient imputables. L’AI est alimentée par d’énormes quantités de données et prend des décisions et des recommandations de façon souvent non transparente. Le concepteur de l’agent ne peut pas être tenu responsable parce qu’il ne sait pas ce que l’agent va faire. Il sait seulement sur quelles informations ce dernier va se baser et quel modèle sera utilisé.

La personne responsable doit donc être celle qui déploie la technologie agentique afin d’avoir un impact sur les opérations de l’entreprise. Autrement dit, ce n’est pas la personne qui a construit le système qui en est responsable, mais celle qui appuie sur le bouton « Marche ». Si cette personne n’est pas prête à assumer la responsabilité de ce que fait le système, cela pose un énorme problème.

Étape 2 : Appliquer un modèle de risque

La deuxième étape consiste à utiliser le modèle de risque à trois niveaux suivant, qui permet de catégoriser le type de risque pour ensuite concevoir l’imputabilité appropriée :

  • Niveau 1 : Conseiller uniquement—l’agent recommande, l’humain décide
  • Niveau 2 : Action avec intervention humaine—l’agent exécute, l’humain révise
  • Niveau 3 : Complètement autonome—l’agent agit, l’humain vérifie après coup

Dans ces niveaux, les risques doivent aussi être évalués en fonction de l’exposition réglementaire, de la sensibilité des données et de la réversibilité des actions. 

Étape 3 : Créer un organigramme d’imputabilité

La troisième étape consiste à créer un organigramme pour la reddition de comptes de l’agentique. Chaque agent autonome a besoin d’un responsable humain, d’un champ d’action défini et d’un registre d’audit—tout comme un employé. À mesure que les agents prolifèrent dans les TI, la finance, la chaîne d’approvisionnement et le service à la clientèle, l’absence de cette cartographie de responsabilité crée un risque exponentiel. Le DSI et le CTO devraient concevoir ce cadre avant que l’expansion incontrôlée ne génère une dette de reddition de comptes. 

Les tactiques pour assurer et gérer la responsabilité et mettre en œuvre des contrôles doivent être intégrées au cadre de création des agents et à la plateforme de contrôle pour les exploiter et les gouverner. 

Une telle plateforme de contrôle devrait inclure des fonctionnalités pour :

  • Gestion du cycle de vie
  • Partage du contexte
  • Authentification
  • Observabilité
  • Boutons d’arrêt d’urgence (kill-switches)

La capacité à spécifier précisément ce que les agents peuvent ou ne peuvent pas faire—et à être alerté en cas de problème—distingue les entreprises qui évoluent en toute sécurité de celles qui créent le chaos.

Idéalement, la productivité de l’AI liée au développement d’agents devrait mener à une présence accrue de l’automatisation au sein de l’entreprise. De nouveaux rôles seront nécessaires pour gérer ce nouvel environnement, incluant : formateurs d’agents, vérificateurs d’autonomie, architectes de flux de travail et éthiciens AI intégrés. Le défi pour la direction ne consiste pas seulement à requalifier la main-d’œuvre pour ces tâches opérationnelles, mais aussi à définir ce que signifie « travailler aux côtés d’agents » au niveau organisationnel.

Étape 4 : Éliminer de façon proactive les goulets d’étranglement au développement agentique

La quatrième étape consiste à reconnaître que peu d’entreprises sont prêtes à aller à grande vitesse en matière de développement agentique à cause de goulets d’étranglement liés à l’accès à l’infrastructure héritée et à la disponibilité des données pour les LLM.

Plus de 38 % des projets d’AI agentique sont freinés par l’infrastructure héritée. Contrairement aux humains, les agents ne peuvent pas contourner des API défectueuses ou des données fragmentées—ils exposent et amplifient toute dette technique différée. Les départements technologiques peuvent accélérer l’élimination des obstacles en se concentrant sur l’amélioration :

  • des pipelines de données et de la gestion des données ;
  • de la capacité des systèmes d’identité/authentification à travailler avec les agents ;
  • de la sécurité, du contrôle et de l’évolutivité de la couche API.

Éviter la catastrophe agentique

Laisser le développement agentique aller à toute allure mènera à un accident lorsqu’un agent non encadré gaspillera des ressources ou prendra de mauvaises décisions entraînant des problèmes réglementaires ou d’autres désastres.

Cependant, la culture appropriée pour la tolérance au risque et les contrôles variera grandement selon la nature de l’entreprise. La direction doit clarifier les arbitrages pour que tout le monde comprenne la différence entre un agent de façon autonome responsable et un agent autonome de façon téméraire.

Les prédictions de catastrophes agentiques sont nombreuses. Gartner avertit que plus de 40 % des initiatives seront abandonnées d’ici 2027 en raison d’une gouvernance faible et d’un ROI peu clair.

L’expérience récente vécue par OpenAI lorsque des agents internes sont sortis des environnements de test pour attaquer HuggingFace devrait servir de signal d’alarme.

Les organisations qui réussiront avec l’AI agentique ne seront pas simplement celles qui déploient le plus d’agents. Ce seront celles qui éviteront de graves problèmes en créant la capacité d’expliquer chaque décision critique prise par un agent, d’identifier qui en est responsable et d’intervenir lorsque nécessaire. À l’ère des systèmes autonomes, la responsabilité devient la condition préalable à l’expansion.

Sources de données :

  • Le rapport mentionne que les données proviennent du rapport suivant : https://www.outsystems.com/1/state-ai-development
  • 97 % des entreprises explorent l’AI agentique, mais seulement 12 % utilisent une plateforme centralisée de contrôle—rapport OutSystems 2026 State of AI Development (1 879 leaders TI sondés)
  • 38 % des projets d’AI agentique sont retardés principalement à cause des systèmes hérités—OutSystems 2026
  • Gartner prévoit que 40 % des logiciels d’entreprise intégreront des agents AI spécialisés d’ici la fin 2026
  • Rapport OpenAI sur l’attaque HuggingFace : https://openai.com/index/hugging-face-incident-and-the-road-ahead/
Etiquettes
Partager sur
IA AI et GenAI Blogues Responsabilité : l’élément manquant pour un déploiement sécurisé de l’AI à grande échelle