La prochaine frontière du risque : Confiance, sécurité et leadership à l’ère de l’AI

L’AI accélère la vitesse et l’ampleur des risques cybernétiques, poussant les responsables de la sécurité à repenser l’identité, la gouvernance, la résilience et l’équilibre entre l’automatisation et la supervision humaine.
S'abonner
6 min 20 s de lecture
Nicholas Ismail
Nicholas Ismail
Global Head of Brand Journalism, HCLTech
6 min 20 s de lecture
La prochaine frontière du risque : confiance, sécurité et leadership à l’ère de l’AI

L’AI transforme l’environnement opérationnel de la , car des systèmes de plus en plus autonomes peuvent agir au nom des personnes et des organisations. Ils peuvent écrire du code, faire des recommandations, déclencher des flux de travail et interagir avec des données et des applications à une vitesse que les processus de sécurité traditionnels n’avaient jamais été conçus pour égaler.

Ce changement a servi de cadre à une récente conversation CyberLive sur LinkedIn avec Rishi Mehta, Chef de la sécurité de l’information chez HCLTech, et Amit Jain, vice-président exécutif et chef mondial de la cybersécurité chez HCLTech. Leur discussion s’est concentrée sur une question centrale pour l’ère de l’AI : comment les organisations peuvent-elles développer suffisamment de confiance envers des pour les utiliser à grande échelle sans perdre le contrôle des risques?

L’AI étend l’environnement opérationnel cybernétique

Les solutions d’ de pointe offrent aux attaquants plus de rapidité, d’envergure et d’accessibilité, mais les intervenants mettent en garde contre une focalisation exclusive sur les capacités du modèle pour évaluer les menaces. Des opérateurs qualifiés peuvent combiner des modèles existants avec les bons outils et flux de travail pour générer des résultats de plus en plus performants, faisant du système dans son ensemble un élément central de l’équation.

Cette combinaison de modèles, d’outils et d’expertise humaine peut soutenir aussi bien le hameçonnage et l’ingénierie sociale que le développement de scripts et les activités dans un environnement compromis. Les intervenants s’attendent à ce que les attaquants fassent davantage appel aux fonctions d’AI déjà implantées au sein des organisations ciblées, en utilisant potentiellement ces systèmes pour localiser des données sensibles, faciliter les mouvements latéraux et accélérer les activités post-exploitation. Parallèlement, bon nombre de ces mêmes capacités peuvent renforcer la défense, les équipes de sécurité exploitant l’AI dans la gestion des vulnérabilités, la réponse aux incidents, la gouvernance, la conformité, l’équipe rouge, les tests d’intrusion et la sécurité des produits.

Cela crée un environnement où les deux camps peuvent utiliser l’AI comme multiplicateur de force. Jain a souligné que ce changement élargit également la surface d’attaque, en particulier parce que l’AI agentique introduit une prolifération d’identités machines capables d’interagir avec les systèmes, les données et les processus d’affaires. À mesure que les organisations déploient plus d’agents, la gestion des identités et des accès devient de plus en plus cruciale, alors que la population d’identités non humaines croît dans l’entreprise.

L’identité devient un point de contrôle essentiel

De nombreux programmes d’identité existants ont été conçus autour des personnes, appareils et applications plutôt qu’autour de grandes populations d’agents autonomes. Cela devient problématique lorsqu’un agent AI hérite de l’identité et des autorisations de la personne qui l’a créé. Les utilisateurs humains se voient souvent accorder un accès plus large que nécessaire pour chaque tâche, donc transférer ces mêmes autorisations à un agent autonome peut lui donner une portée excessive sur les données, applications et systèmes d’affaires.

Les organisations devront de plus en plus assigner des identités machines selon la raison d’être et l’autorité de chaque agent, avec une visibilité claire sur qui le possède, à quelles données il a accès et quelles actions il peut effectuer. Cela devient d’autant plus important que l’AI clandestine progresse, car des agents et des capacités alimentées par l’AI peuvent entrer dans l’organisation plus rapidement que ce que permettent les inventaires de sécurité et processus d’approbation traditionnels.

Cela rend la visibilité et le contrôle fondamentaux. Les organisations doivent comprendre quelle AI opère dans leur environnement et si les risques associés à ces systèmes demeurent dans les limites définies. Cela va au-delà des robots conversationnels pour toucher les agents, les capacités low-code, no-code et l’AI intégrée à des logiciels tiers, qui peuvent tous ouvrir de nouvelles voies dans les systèmes d’entreprise.

La gouvernance passe à l’exécution

L’identité n’est qu’un élément d’un défi de gouvernance plus large. Les organisations consacrent souvent des efforts considérables à prendre des décisions au début d’une initiative AI, y compris le modèle, les données, l’environnement d’hébergement et les premiers contrôles. Jain a soutenu que le même niveau d’attention doit être maintenu après le déploiement, car les systèmes AI fonctionnent en continu, interagissent avec des contextes changeants et peuvent se comporter différemment selon l’évolution des conditions.

« La gouvernance et les garde-fous doivent s’étendre jusqu’à l’exécution », a déclaré Jain.

La gouvernance à l’exécution signifie observer le comportement en continu, appliquer les politiques et maintenir la capacité d’intervenir lorsqu’un système sort des limites prévues. Selon le cas d’usage, cela peut vouloir dire limiter les permissions, demander une approbation humaine, revenir sur une action ou arrêter complètement un agent. Un inventaire initial et une évaluation de la posture demeurent importants, mais ils ne donnent qu’un instantané. La confiance en production doit reposer sur des preuves recueillies alors que le système fonctionne.

« La confiance fondée sur des preuves est ce que je recommanderais clairement plutôt qu’une confiance implicite », a déclaré Jain.

Ces preuves doivent aussi refléter le niveau d’autorité accordé au système AI. Un agent interne qui effectue une tâche administrative à faible risque n’entraîne pas les mêmes conséquences qu’un agent intégré à un processus client, une chaîne d’approvisionnement ou à un système financier central. Les tests, seuils d’approbation, la surveillance et les mécanismes de retour arrière devraient devenir plus rigoureux à mesure que l’autorité s’accroît, tandis que les actions à fort impact exigent une traçabilité claire afin que les organisations comprennent quel agent a agi, quelles informations ont informé la décision et qui détient ultimement le résultat d’affaires.

« C’est finalement l’organisation qui porte le résultat, et non l’algorithme », a affirmé Jain.

La main-d’œuvre en sécurité évolue avec la technologie

Les capacités AI qui génèrent de nouveaux risques peuvent aussi aider les équipes de sécurité à gérer un environnement opérationnel qui devient plus rapide et plus complexe.

Les intervenants ont souligné l’évolution de l’analyste au centre des opérations de sécurité à titre d’exemple. Autrefois, les analystes devaient recueillir manuellement des éléments d’enquête provenant de différents systèmes pour pouvoir comprendre et gérer un incident. L’AI peut désormais accomplir une grande partie de ce travail d’analyse initial, permettant à l’analyste de commencer avec un contexte plus riche et de concentrer son attention sur l’investigation, le jugement et la réponse.

L’analyse de maliciels a suivi une trajectoire similaire. L’automatisation a réduit une grande part du travail de rétro-ingénierie de base, alors que les rôles spécialisés demeurent cruciaux pour les problèmes plus complexes. L’AI poursuit cette évolution en accélérant encore l’analyse, permettant aux professionnels qualifiés de consacrer plus de temps à des tâches requérant créativité, expérience et compréhension contextuelle.

La tendance générale va vers des opérations de sécurité où l’AI prend en charge une plus grande partie de l’analyse répétitive, alors que les humains supervisent, enquêtent sur les cas complexes et prennent des décisions de niveau supérieur. Cela compte dans une industrie qui fait face à des contraintes de compétences, mais Mehta a souligné que les professionnels en cybersécurité devront aussi renforcer leur propre littératie AI. Comprendre comment la technologie fonctionne, expérimenter et reconnaître ses limites devient essentiel autant pour sécuriser les systèmes AI que pour en tirer parti comme moyen de défense.

La résilience s’intègre à la conception de la sécurité AI

À mesure que l’AI s’intègre plus profondément aux processus d’affaires, les organisations doivent aussi supposer que les systèmes pourraient parfois agir de manière imprévue. Les modèles peuvent être manipulés, les invites détournées, et des agents peuvent prendre des décisions conduisant à des conséquences involontaires. Cette réalité pousse les responsables de la sécurité à mettre davantage l’accent sur la conception de dispositifs de secours, la reprise et la résilience en complément à la prévention.

Jain a soutenu que les principes classiques de cybersécurité restent d’une grande actualité. Le sécuritaire par conception, la défense en profondeur, le Zero Trust et l’assurance continue demeurent la base, mais doivent maintenant s’appliquer dans un environnement comprenant bien plus d’identités machine et d’actions autonomes. L’objectif est de limiter les conséquences lorsqu’un incident survient et de garder la capacité de rétablir rapidement la situation, plutôt que de concevoir en supposant que toute défaillance peut être évitée.

Les intervenants ont décrit l’AI comme une surface d’attaque exceptionnellement intersectorielle, car elle relie la gestion des identités et des accès, les terminaux, les services cloud, les dépôts de données, les risques liés aux tiers et les applications d’affaires. Protéger cet environnement exige une visibilité sur ces domaines et des processus capables de répondre à une vitesse comparable aux attaques assistées par AI. Limites d’autorisation, containment, mécanismes de retour arrière et intervention humaine peuvent alors agir de concert pour empêcher qu’une action inattendue ne devienne un incident d’affaires plus large.

Les seuils de risque doivent refléter le niveau de maturité du contrôle

Plus d’autonomie soulève aussi la question des limites que les organisations devraient imposer à l’usage de l’AI. Il peut exister des décisions dont l’automatisation totale n’est pas appropriée vu le risque potentiel, mais ces limites varieront selon le secteur, le contexte et la capacité de l’organisation à gérer le risque associé.

Jain a avancé que la tolérance au risque et la maturité de sécurité devraient guider ces choix.

Une organisation dotée de contrôles d’identité robustes, d’une gestion efficace des vulnérabilités et d’une surveillance mature pourra accorder à un système AI plus d’autorité qu’une autre présentant d’importantes lacunes dans les mêmes domaines. Cela rend la posture AI et la posture globale en cybersécurité étroitement liées : lorsque les contrôles de base sont faibles, le seuil d’autonomie acceptable doit être plus prudent.

Les conseils d’administration et cadres dirigeants doivent comprendre où des erreurs ou illusions de l’AI pourraient entraîner des conséquences d’affaires importantes, quelles mesures peuvent réduire cette exposition et quel niveau de risque résiduel l’organisation est prête à accepter. Là où le risque ne peut être réduit adéquatement, le maintien d’une intervention humaine ou la non-automatisation peut s’avérer la meilleure solution.

La confiance doit se mériter en continu

Mehta a résumé l’objectif comme « la capacité de mériter cette confiance au quotidien ».

Ce principe rejoint bon nombre des défis qui émergent autour de l’AI d’entreprise. La confiance repose sur la connaissance des identités en jeu, la compréhension de leur autorité, l’observation continue de leur comportement et l’imputabilité quant aux décisions prises. Elle dépend aussi de la résilience : les organisations ont besoin de mesures leur permettant de contenir les comportements imprévus et de se rétablir quand les contrôles ne fonctionnent pas comme prévu.

Bien appliquées, ces disciplines de sécurité peuvent soutenir, plutôt que freiner, l’adoption de l’AI. Les dirigeants peuvent avancer plus vite lorsqu’ils ont confiance en l’emplacement du risque, le comportement des systèmes et en ce qui adviendra si un problème survient. Alors que les systèmes autonomes s’intègrent toujours plus dans l’entreprise, l’assurance continue et la résilience vont de plus en plus déterminer jusqu’à quel point les organisations peuvent tout en préservant la sécurité et la confiance dont leurs activités dépendent.

Partager
DFS Cybersécurité Article La prochaine frontière du risque : Confiance, sécurité et leadership à l’ère de l’AI