Le prochain défi de la sécurité de l’IA : protéger les capacités de l’IA

Les capacités de l’AI deviennent des actifs précieux pour l’entreprise, créant un nouveau défi en matière de sécurité : protéger ce que les systèmes d’AI peuvent raisonner, déduire et exécuter
S'abonner
3 min 30 s de lecture
Saurabh Singh
Saurabh Singh
AI Assurance and App Security Practice Lead, Cybersecurity, HCLTech
3 min 30 s de lecture
microphone microphone Listen à article
30s Backward
0:00 0:00
30s Forward
Le prochain défi en matière de sécurité de l’AI : protéger les capacités d’AI

transforme la façon dont les entreprises créent de la valeur. Pour les responsables de la cybersécurité, elle redéfinit également ce qui nécessite une protection.

Depuis des décennies, les programmes de sécurité sont axés sur la protection des données d’entreprise, incluant les dossiers clients, la propriété intellectuelle, le code source et les informations commerciales confidentielles. Ces priorités demeurent. L’AI introduit une autre catégorie d’actifs qui mérite une attention équivalente : les capacités intégrées dans les systèmes d’AI d’entreprise.

À mesure que les organisations déploient l’AI dans le développement logiciel, les opérations de sécurité, le service à la clientèle et les flux de travail d’affaires, ces systèmes exploitent de plus en plus les connaissances institutionnelles, l’expertise sectorielle et la logique décisionnelle. Ils représentent des investissements importants, des améliorations continues et, dans certains cas, un facteur différenciateur.

Pour les responsables de la cybersécurité, cela soulève une nouvelle question : Comment protéger ce que votre AI sait faire ?

Les capacités en AI deviennent des actifs stratégiques pour l’entreprise

La valeur de l’AI d’entreprise va bien au-delà des données qui servent à l’entraîner ou à l’informer.

Les systèmes AI modernes peuvent raisonnner sur des problèmes complexes, orchestrer des processus d’affaires, générer du code, analyser de grands volumes d’information et soutenir les décisions opérationnelles. Les agents d’entreprise conçus sur mesure offrent une valeur ajoutée en combinant savoir organisationnel, contexte d’affaires et capacité d’action.

Ces capacités peuvent devenir une source de valeur exclusive et de différenciation concurrentielle.

À mesure que les entreprises développent des modèles propriétaires et des solutions , la protection de ces capacités mérite la même rigueur que celle appliquée au code source, aux brevets et aux autres actifs d’affaires essentiels.

Les stratégies de devraient évoluer afin d’intégrer les capacités d’AI dans le patrimoine numérique élargi de l’organisation.

La fuite de capacités mérite une plus grande attention

Les discussions en entreprise sur la sécurité de l’AI portent souvent sur les injections de commandes, les détournements, le mauvais usage des modèles et la fuite de données.

Un autre risque prend de plus en plus d’importance.

Des acteurs sophistiqués peuvent interagir de façon systématique avec des modèles avancés pour extraire un raisonnement protégé, reproduire des comportements spécialisés ou améliorer un autre modèle. Des techniques comme la distillation adversariale démontrent comment des interactions répétées peuvent cibler des capacités précieuses sans compromettre la base de données ou l’infrastructure sous-jacente.

Anthropic a également signalé des tentatives d’extraction massive des capacités de modèles via la distillation illicite, soulignant que le comportement même d’un modèle peut devenir une cible de reproduction systématique.

Cela crée une forme de fuite de capacités : l’extraction, la reproduction ou l’imitation progressive de ce qu’un modèle a appris à réaliser.

Pour les organisations qui développent des systèmes d’AI propriétaires, la perte de ces capacités pourrait avoir des conséquences semblables au vol d’autres actifs intellectuels de valeur. L’avantage concurrentiel se définit de plus en plus non seulement par ce que l’organisation sait, mais par la façon dont ses systèmes d’AI appliquent ce savoir.

La gouvernance devient partie intégrante de l’architecture de sécurité

La réponse de l’industrie à l’AI avancée reflète ce nouveau paysage.

Les développeurs d’AI renforcent les contrôles d’accès aux modèles, l’identité, la surveillance et l’auditabilité afin de détecter les extractions et mésusages systématiques. Anthropic, par exemple, a décrit l’utilisation de l’empreinte comportementale et d’autres techniques de détection pour identifier les activités suspectes de distillation.

Les responsables de la sécurité d’entreprise devraient commencer à se poser un éventail plus large de questions :

  • Quels modèles et agents AI doivent être considérés comme des actifs stratégiques de l’entreprise ?
  • Quels systèmes nécessitent des contrôles d’accès privilégiés ?
  • Comment les organisations devraient-elles surveiller les interactions avec les systèmes d’AI à conséquences élevées ?
  • Quels signaux pourraient indiquer des tentatives systématiques d’extraction ou de reproduction de capacités exclusives ?
  • Comment les contrôles d’accès devraient-ils différer entre les modèles de raisonnement et les agents autonomes de gestion de flux de travail ?
  • Quelles approches de surveillance ou empreintes comportementales pourraient protéger les capacités AI exclusives ?

Répondre à ces questions exige une collaboration entre les équipes de sécurité, de génie AI, de gestion des risques et de gouvernance.

Les contrôles doivent également dépasser le modèle lui-même. L’identité, la gestion des accès, la surveillance, la journalisation, la sécurité de l’infrastructure et la gouvernance contribuent tous à protéger la façon dont les capacités AI sont accessibles et utilisées.

La protection des capacités exige une surveillance continue

Les contrôles de sécurité traditionnels ciblent souvent des événements ponctuels : une connexion non autorisée, un fichier malveillant, un trafic réseau inhabituel ou une tentative d’exfiltration de données.

L’extraction de capacités peut se présenter différemment.

Une interaction individuelle avec un système AI peut sembler légitime. Le risque émerge lorsque les tendances des activités sont analysées avec le temps : des invites répétées conçues pour tester les limites de raisonnement, des tentatives systématiques de reproduction de comportements spécialisés ou encore des interactions volumineuses structurées autour de certaines capacités.

Les équipes de sécurité devront accroître leur visibilité sur ces tendances sans empêcher les utilisateurs légitimes de bénéficier de l’AI d’entreprise.

Cela signifie surveiller à la fois qui interagit avec les systèmes AI d’importance stratégique et comment ces systèmes sont utilisés. Des limites de fréquence, l’analytique comportementale, des contrôles d’identité et la télémétrie au niveau des modèles peuvent tous contribuer à identifier les activités qui sortent des modèles attendus.

L’objectif n’est pas de restreindre indûment l’accès, mais de reconnaître quand une interaction légitime commence à ressembler à une extraction systématique de capacités.

Se préparer à la prochaine phase de l’AI en entreprise

L’AI réalise déjà un travail de fond dans l’ingénierie logicielle, la cybersécurité, les opérations clients, la conformité et d’autres fonctions d’affaires axées sur la connaissance.

Au fur et à mesure de l’expansion de son adoption, les organisations devront élaborer des stratégies de sécurité qui protègent l’intelligence intégrée dans ces systèmes, en parallèle avec les données d’entreprise qu’ils traitent.

Les données, les applications, les identités et l’infrastructure demeurent des actifs fondamentaux. Les capacités AI méritent maintenant de figurer à leurs côtés.

Les organisations qui reconnaissent ce changement tôt seront mieux placées pour protéger les investissements AI exclusifs tout en donnant aux employés, clients et partenaires l’assurance d’utiliser ces systèmes à grande échelle.

La prochaine génération de cyberdéfense protégera à la fois ce que les organisations savent et ce que leur AI est capable de faire.

Partager
DFS Cybersécurité Article Le prochain défi de la sécurité de l’IA : protéger les capacités de l’IA