Éviter les catastrophes agentiques à venir en créant une architecture pour la reddition de comptes

De l’évaluation des risques à la gouvernance opérationnelle, les organisations doivent intégrer la reddition de comptes à chaque étape du déploiement de l’IA agentique pour créer de la valeur tout en minimisant les risques
6 min de lecture
Tarun Goyal
Tarun Goyal
Vice-président, HCLTech
6 min de lecture
Éviter les catastrophes agentiques à venir en créant une architecture pour la responsabilisation

Lorsque je vois des statistiques indiquant que 97 % des entreprises explorent l’IA agentique, mais que seulement 12 % ont un contrôle centralisé, cela m’inquiète vraiment. L’IA est tellement puissante. Grâce à la programmation alimentée par l’IA, des solutions peuvent être développées à une vitesse impressionnante. Mais sans garde-fous intégrés, il est clair que de nombreuses entreprises courent à la catastrophe.

Le risque fondamental n’est pas l’incapacité des agents à évoluer ou à automatiser le travail efficacement. Les plus grands désastres surviendront plutôt lorsque les agents réussiront, mais iront dans la mauvaise direction sans que personne n’en soit responsable.

Ce n’est pas un enjeu nouveau. En 1979, IBM utilisait ce message dans une présentation interne : « Un ordinateur ne peut jamais être tenu responsable. Par conséquent, un ordinateur ne doit jamais prendre une décision de gestion. »

La solution n’est pas de tout ralentir. Dans le monde de l’IA, les ordinateurs prendront des décisions de gestion. L’enjeu est de faire en sorte que ces décisions soient prises en toute responsabilité. Selon ce qui a fonctionné pour les premiers adoptants, je propose un programme en quatre étapes pour se préparer à piloter la technologie agentique de façon sécuritaire à haute vitesse.

Étape 1 : Évaluer les risques

La première étape consiste à comprendre la nature de la technologie agentique afin de pouvoir évaluer et catégoriser les risques. L’IA n’exécute pas simplement des règles comme la RPA ou les premières générations de technologies d’automatisation des processus d’affaires, où les créateurs des règles étaient imputables. L’IA est stimulée par de grandes quantités de données et prend des décisions et formule des recommandations de façon souvent non transparente. Le concepteur de l’agent ne peut pas être tenu responsable puisqu’il ne sait pas ce que l’agent fera. Il sait seulement sur quelles informations il se fiera et quel modèle sera utilisé.

La personne imputable doit donc être celle qui déploie la technologie agentique afin d’obtenir un impact au sein des opérations commerciales.

Étape 2 : Appliquer un modèle d’évaluation des risques

La deuxième étape consiste à utiliser le modèle de risque à trois niveaux suivant, qui catégorise le type de risque afin que la responsabilité appropriée puisse être définie :

  • Tier 1 : Conseils seulement — l’agent recommande, l’humain décide
  • Tier 2 : Action avec supervision humaine — l’agent exécute, l’humain révise
  • Tier 3 : Entièrement autonome — l’agent agit, les humains vérifient a posteriori

À l'intérieur de ces niveaux, les risques doivent aussi être évalués en fonction de l'exposition réglementaire, de la sensibilité des données et de la réversibilité de l'action.

Étape 3 : Créer un organigramme pour la reddition de comptes

La troisième étape consiste à créer un organigramme pour la reddition de comptes des agents. Chaque agent autonome a besoin d'un responsable humain, d'un champ d'action défini et d'une piste d’audit — tout comme un employé. À mesure que les agents se multiplient dans les secteurs des TI, des finances, de la chaîne d’approvisionnement et du service à la clientèle, l’absence de cette cartographie de la reddition de comptes augmente le risque de façon cumulative. Le DSI et le CTO devraient concevoir ce cadre avant qu’une prolifération incontrôlée ne crée une dette de reddition de comptes.

Les mesures pour assurer et gérer la reddition de comptes et mettre en œuvre des contrôles doivent être intégrées dans l’infrastructure permettant de créer des agents ainsi que dans le plan de contrôle pour les exploiter et les gouverner.

Un tel plan de contrôle devrait inclure des fonctionnalités pour :

  • Gestion du cycle de vie
  • Partage de contexte
  • Authentification
  • Observabilité
  • Interrupteurs d'arrêt

La capacité de spécifier précisément ce que les agents peuvent et ne peuvent pas faire et d’être alerté lorsque quelque chose tourne mal distingue les entreprises qui évoluent en toute sécurité de celles qui créent le chaos.

Idéalement, la productivité de l’IA en ce qui concerne le développement des agents devrait conduire à une empreinte beaucoup plus importante de l’automatisation au sein de l’entreprise. De nouveaux rôles seront nécessaires pour gérer les opérations de cette empreinte, y compris : formateurs d’agents, vérificateurs d’autonomie, architectes des flux de travail et éthiciens de l’IA intégrés. Le défi de la direction n’est pas seulement de requalifier la main-d’œuvre pour ces tâches opérationnelles, mais aussi de définir ce que signifie « travailler aux côtés des agents » à l’échelle organisationnelle.

Étape 4 : Supprimer de manière proactive les goulots d’étranglement au développement agentique

La quatrième étape consiste à reconnaître que peu d’entreprises sont prêtes à avancer à grande vitesse en matière de développement agentique à cause de goulots d’étranglement liés à l’accès aux infrastructures patrimoniales et à la préparation des données pour leur utilisation par les LLM.

Plus de 38 % des projets d’IA agentique sont retardés par les infrastructures patrimoniales. Contrairement aux humains, les agents ne peuvent pas « contourner » les API défectueuses ou les données fragmentées — ils exposent et amplifient toute dette technique différée. Le service technologique peut accélérer l’élimination des goulots d’étranglement en se concentrant sur l’amélioration de :

  • Canaux de données et gestion des données.
  • La capacité des systèmes d'identité/authentification à fonctionner avec des agents.
  • Améliorer la sécurité, le contrôle et la scalabilité de la couche API.

Éviter les catastrophes agentiques

Laisser le développement agentique aller de l’avant sans contrôle entraînera une collision lorsque des agents non gouvernés gaspillent de l’argent ou prennent de mauvaises décisions menant à des problèmes réglementaires ou à bien d’autres types de désordres.

Cependant, la bonne culture pour la tolérance au risque et les contrôles variera considérablement selon la nature de l’entreprise. Les dirigeants doivent rendre les compromis clairs afin que tout le monde comprenne la différence entre un agent qui est de façon responsable autonome et un autre qui l’est de façon téméraire.

Les prédictions de catastrophe agentique sont courantes. Gartner avertit que plus de 40 % des initiatives d’ seront abandonnées d’ici 2027 à cause d’une gouvernance faible et d’un rendement du capital peu clair.

Ceux qui adopteront agressivement la reddition de comptes et tout ce qu’elle exige seront ceux qui passeront à l’échelle supérieure.

Sources de données :

  • Le mémoire indiquait que celles-ci proviennent de ce rapport : https://www.outsystems.com/1/state-ai-development
  • 97 % des entreprises explorent l’IA agentique, mais seulement 12 % utilisent une plateforme centralisée pour le contrôle — rapport OutSystems 2026 sur l’état du développement de l’IA (1 879 dirigeants TI sondés)
  • 38 % des projets d’IA agentique ont été ralentis en raison des systèmes patrimoniaux comme principal obstacle — OutSystems 2026
  • Selon Gartner, 40 % des logiciels d’entreprise incluront des agents d’IA spécifiques à une tâche d’ici la fin de 2026
Etiquettes
Partager sur
IA IA et GenIA Blogues Éviter les catastrophes agentiques à venir en créant une architecture pour la reddition de comptes