Qu’est-ce qu’un grand modèle de langage (LLM)?
Un LLM est un système logiciel entraîné sur d’immenses ensembles de textes — livres, contenus web, code et articles de recherche — afin de comprendre et de générer le langage humain. Bâti sur une architecture de type transformeur, un LLM traite la langue en pondérant simultanément les relations entre mots et expressions sur l’ensemble de l’entrée, plutôt qu’en lisant de gauche à droite de façon séquentielle. Cette approche permet de traiter des requêtes complexes dépendant du contexte, à grande échelle.
Contrairement aux systèmes de traitement du langage naturel (NLP) à base de règles, qui associent les entrées à des patrons prédéfinis et échouent lorsque la langue sort de ces schémas, les LLM génèrent des réponses en se basant sur les relations statistiques apprises durant l’entraînement. Cette distinction est plus importante qu’elle n’en a l’air: le NLP à base de règles échoue de façon prévisible — vous pouvez auditer l’erreur, la retracer jusqu’à une règle manquante et la corriger — alors que les LLM échouent de façon probabiliste, produisant des sorties fluides et plausibles mais parfois inexactes sur le plan factuel.
L’architecture transformeur permet aux LLM de traiter des tâches qui nécessitaient, en NLP traditionnel, des systèmes distincts faits à la main: ex., résumer un contrat de 200 pages, répondre à des questions à travers une base de connaissances ou générer du code à partir d’une description en langage naturel. Si cette polyvalence est réellement utile, elle pose des défis de gouvernance et des risques opérationnels.
Comment fonctionnent les LLM: jetons, entraînement et inférence
Tokenisation
Avant que le modèle ne lise un texte, ce dernier est découpé en jetons — unités correspondant à des mots entiers, des fragments de mots ou des signes de ponctuation, selon le vocabulaire du modèle (par exemple, « renouvellement de contrat » pourrait devenir trois jetons). Chaque LLM a un nombre maximal de jetons qu’il peut traiter par interaction.
Pré-entraînement
Un modèle traite des ensembles massifs de textes et apprend à prédire quel jeton est susceptible de suivre une séquence donnée, ajustant ses paramètres internes à travers des milliards d’itérations, donnant ainsi un modèle qui a absorbé de larges schémas de la langue, du raisonnement et des associations factuelles sans avoir été explicitement programmé pour cela.
Inférence
Le modèle prédit le jeton suivant, puis le suivant, construisant la sortie séquentiellement selon des probabilités apprises et le contexte fourni. La latence d’inférence — le temps entre l’envoi d’une invite et la réception d’une réponse complète — est une contrainte de type approvisionnement pour les applications en temps réel (par ex., un chatbot client en direct).
Types de LLM: modèles fondamentaux, affinés et petits modèles de langage (SLM)
Bien qu’il soit courant de privilégier les modèles fondamentaux — et de voir les modèles affinés et SLM comme des options moins coûteuses — cette perception est inexacte et mène au déploiement de systèmes coûteux, mal gouvernés et peu performants. Comparons :
| Dimension | Modèle fondamental | Modèle affiné | Petit modèle de langage (SLM) |
|---|---|---|---|
| Définition | LLM à corpus large, sans adaptation à une tâche spécifique | Modèle fondamental adapté à des données propres au domaine | LLM compact optimisé pour l’efficacité |
| Périmètre d’entraînement | Général — textes variés et à grande échelle | Spécifique au domaine — superposé à un modèle pré-entraîné | Restreint — limité à une tâche ou un domaine |
| Échelle de paramètres | Plus grande | Grande, avec des poids adaptés au domaine | Moins de paramètres |
| Adaptation à l’entreprise / quand l’utiliser | Prototypage, tâches NLP générales, assistants polyvalents | Secteurs réglementés, tâches critiques, flux sensibles à la conformité | Applications sensibles à la latence, déploiements à coût limité, exigences sur site |
| Compromis | Coût élevé; gouvernance lourde; moindre précision dans le domaine | Nécessite des données de domaine de qualité; investissement d’entraînement additionnel | Capacité maximale plus restreinte; la tâche doit être bien définie avant le déploiement |
Exemple (points de référence, pas des recommandations) | GPT-4 | BloombergGPT (modèle affiné entraîné sur des textes financiers) | Mistral 7B |
Risques liés aux LLM
Trois risques insolubles définissent la gouvernance des LLM en entreprise; chacun nécessite une décision de conception, et non une simple atténuation.
- Hallucinations Les LLM produisent des réponses basées sur des probabilités apprises plutôt que sur des faits vérifiés, générant ainsi des réponses fluides, convaincantes, mais parfois incorrectes sur le fond. Conséquence d’affaires : ce ne sont pas des inexactitudes occasionnelles — les erreurs peuvent être indiscernables d’une bonne réponse sans vérification externe. Tous les modèles hallucinent, donc les questions de conception sont:
- Mon flux de travail peut-il détecter les hallucinations ?
- Les conséquences d’une erreur non détectée sont-elles acceptables ?
Confidentialité des données
Quand des données d’entreprise sont soumises à un LLM tiers via une API, elles sont utilisées pour l’entraînement du modèle et exposées à d’autres utilisateurs. Une gouvernance rigoureuse nécessite des comportements système auditables et stables, mais les LLM sont continuellement mis à jour pour éviter la dégradation et l’obsolescence des modèles. Il n’existe pas de formule pour équilibrer rigueur de gouvernance et pertinence du modèle, donc ce risque doit être géré plutôt qu’éliminé.
Biais
Les LLM absorbent et amplifient inévitablement les biais présents dans les textes à l’échelle d’Internet ayant servi à leur apprentissage, y compris la sous-représentation de certaines langues, industries et groupes démographiques.
Cas d’usage des LLM en entreprise
- Résumé de documents de santé
Les prestataires peuvent générer des résumés structurés à partir de notes cliniques non structurées, réduisant le temps de documentation des cliniciens tout en préservant les détails contextuels manqués par l’extraction de mots-clés. - Génération de code et gestion de la connaissance en fabrication
Les entreprises peuvent automatiser la génération de code d’intégration répétitif entre systèmes de technologie opérationnelle et logiciels d’entreprise, alors que la logique est répétitive mais la syntaxe varie selon la plateforme. Elles peuvent aussi faire remonter la documentation technique pertinente et les procédures de maintenance à partir de référentiels où la terminologie varie selon les générations de produits et les régions. - Automatisation du soutien client et analyse de contrats en services financiers
Les systèmes de soutien alimentés par LLM peuvent gérer des variations dans les demandes de comptes qui épuiseraient la logique d’un chatbot à base de règles, tout en redirigeant les cas limites vers des agents humains selon des seuils de confiance. Pendant la vérification diligente, les équipes juridiques peuvent repérer les clauses d’indemnisation non standard dans de vastes portefeuilles de contrats.
Comment évaluer et choisir un LLM pour votre entreprise
- Critères d’exactitude : Il n’existe pas de méthode normalisée pour générer des bancs d’essai adaptés à un domaine. Vous devrez créer des jeux d’évaluation spécifiques à vos tâches à partir de vos propres données, donc l’exactitude se découvre en partie après l’achat.
- Latence : Définissez votre seuil maximal de latence avant les tests, pas après, et mesurez le temps de réponse sous des charges concurrentes réalistes, pas lors de tests à requête unique.
- Coût par jeton : La tarification par jeton s’accumule rapidement à l’échelle d’une entreprise. Modélisez les coûts selon le volume de requêtes attendu avant l’achat. Un coût moindre par jeton sur un modèle moins performant peut convenir pour des flux de travail bien définis.
- Conformité : Déterminez les politiques applicables concernant la résidence des données, les journaux et la mise à jour du modèle selon votre environnement réglementaire, avant d’évaluer tout fournisseur. Un modèle qui ne les respecte pas n’est tout simplement pas admissible.
- Compatibilité avec votre écosystème fournisseur : Évaluez l’intégration avec votre infrastructure existante, y compris les systèmes d’authentification, flux de données et outils de surveillance. Un modèle nécessitant beaucoup d’intégration personnalisée comporte un coût caché.
- Résumé de documents de santé
Dans les évaluations, les DSI se concentrent sur le coût par jeton et la conformité, les architectes TI sur la latence en charge et l’intégration à l’écosystème.
