Les discussions sur l'infrastructure d'IA commencent souvent par une question familière : Combien de GPU nous faut-il? Bien qu'il s'agisse d'une question importante, ce n'est pas toujours la première que les entreprises devraient poser.
Une récente discussion dans l'industrie sur la configuration optimale de l’infrastructure GPU met en lumière un vrai problème : une infrastructure sous-dimensionnée peut nuire à la performance, tandis qu’un parc de GPU surdimensionné peut laisser une capacité coûteuse inutilisée. Elle souligne aussi l’importance de distinguer l’entraînement, les charges de travail par lots et l’inférence en ligne, puisque chacune présente différentes caractéristiques de latence, de débit et d’utilisation.
Mais pour de nombreuses entreprises, la question stratégique est plus large : quelles charges de travail nécessitent des GPU, lesquelles peuvent fonctionner efficacement sur des CPU et lesquelles devraient être rapprochées de la périphérie?
Ce changement de perspective est central pour rendre l’IA abordable.
De l’approche GPU d’abord à l’IA axée sur les charges de travail
Les GPU sont indispensables pour de nombreuses charges de travail en IA, en particulier l’entraînement de modèles à grande échelle, l’inférence à haute concurrence, la GenIA avec un large contexte et les charges de travail nécessitant une grande bande passante mémoire. Cependant, une stratégie axée sur les GPU peut devenir coûteuse si chaque cas d’utilisation d’IA est traité comme nécessitant la même catégorie d’accélérateur.
L’IA d’entreprise n’est pas une seule charge de travail. C’est un portefeuille. Elle comprend la génération augmentée par la recherche, les embeddings, la synthèse, la classification, les moteurs de recommandation, l’apprentissage automatique classique, la vision par ordinateur, la détection d’anomalies, l’intelligence documentaire, les copilotes IA, les flux de travail d’agents et le prétraitement des données. Certaines exigent d’importants groupes de GPU. Beaucoup n’en ont pas besoin.
Le principe de l’IA abordable est simple : utiliser les GPU là où ils apportent une valeur unique et utiliser le calcul basé sur Intel Xeon là où il offre le bon équilibre entre performance, coût, disponibilité, sécurité et simplicité opérationnelle.
Intel continue d’investir dans la performance de l’IA sur CPU. Intel a indiqué que les processeurs Xeon 6 avec cœurs de performance ont obtenu une amélioration moyenne d’environ 1,9x pour l’inférence en IA par rapport à la 5e génération d’Intel Xeon sur six tests MLPerf et jusqu’à 17x d’amélioration sur BERT par rapport aux soumissions de la 3e génération de Xeon sur quatre ans. La plateforme Xeon de 5e génération d’Intel inclut aussi l’accélération IA dans chaque cœur, ciblant les charges de travail d’IA de bout en bout avant que les clients aient besoin d’ajouter des accélérateurs discrets.
Pourquoi les CPU sont-ils importants pour l’IA d’entreprise
Le CPU constitue déjà le plan de contrôle des TI en entreprise. Il exécute le système d’exploitation, le réseau, la sécurité, le déplacement des données, la logique applicative, l’orchestration, le prétraitement et le post-traitement qui entourent les modèles d’IA. Dans de nombreuses applications d’IA concrètes, ces tâches périphériques ne sont pas secondaires; elles constituent la charge de travail.
C’est particulièrement vrai en production d’IA. Après tout, un agent conversationnel est plus que la génération de jetons; une solution RAG est plus qu’un modèle linguistique; un système de vision par ordinateur est plus que l’inférence. Ces solutions comprennent aussi des pipelines de données, la recherche vectorielle, les vérifications de politiques, les appels API, les contrôles d’accès, la supervision, la journalisation, les garde-fous, l’intégration aux flux de travail et les opérations de cycle de vie.
C’est là que l’infrastructure basée sur Intel Xeon devient particulièrement pertinente. Grâce aux extensions avancées de matrice d’Intel, l’accélération IA est directement intégrée dans les cœurs de processeur, permettant l’inférence sur CPU pour les charges de travail où l’économie et le modèle opérationnel sont plus favorables que le déploiement de GPU discrets. AWS a montré une accélération de l’inférence IA sur CPU allant jusqu’à 76% grâce à Intel AMX sur les instances Amazon EC2 de 8e génération et que l’inférence sur CPU peut être appropriée lorsque le coût, la complexité opérationnelle et la compatibilité de l’infrastructure sont des facteurs clés.
Pour les entreprises, cela peut signifier un chemin plus pragmatique vers l’adoption de l’IA : commencer par les modèles d’infrastructure x86 existants, optimiser les modèles par quantification et accélération logicielle, et réserver les GPU pour les charges de travail qui en ont réellement besoin.
L’économie souvent négligée de l’IA abordable
Adapter les GPU à la bonne taille peut réduire le gaspillage. Mais l’IA abordable exige l’optimisation de toute la structure des coûts :
- Coût de l'infrastructure : Chaque charge de travail ne devrait pas consommer une capacité GPU rare
- Utilisation : Les GPU offrent de la valeur lorsqu'ils sont fortement utilisés. Plusieurs charges d'inférence d’entreprise sont épisodiques, intermittentes ou sensibles à la latence plutôt que saturées de façon continue
- Complexité opérationnelle : Les grappes de GPU introduisent des exigences supplémentaires en matière d’ordonnancement, de pilotes, de réseau, de refroidissement, de planification de la capacité et d’opérations spécialisées
- Mouvement des données : Le déplacement des données vers une infrastructure GPU centralisée peut ajouter de la latence, des coûts de bande passante et exposer la confidentialité
- Sécurité et conformité : Les charges de travail réglementées peuvent bénéficier de garder les données plus près de leur lieu de génération ou de traitement
- Énergie et durabilité : L’accélérateur le plus puissant n’est pas toujours le choix le plus efficace pour chaque tâche
Une stratégie qui inclut le processeur central (CPU) aide les entreprises à éviter un faux choix binaire : soit acheter une capacité GPU coûteuse, soit retarder l’adoption de l’IA. À la place, elles peuvent mettre en place une architecture IA à plusieurs niveaux qui associe les exigences de la charge de travail au niveau de calcul approprié.
Le point de vue d’HCLTech et d’Intel : l’IA doit être placée, et pas seulement dimensionnée
HCLTech et Intel collaborent depuis longtemps dans les domaines du nuage, de l’IA, périphérie, environnement numérique de travail et la modernisation de l’infrastructure. Le partenariat Intel d’HCLTech s’étend sur plus de 30 ans, avec des équipes d’ingénierie, des laboratoires d’expérience client et des laboratoires IA et infonuagiques natifs qui soutiennent la transformation d’entreprise.
C’est important parce que l’IA d’entreprise ne peut pas être résolue par le matériel seul. Elle exige une évaluation, une architecture, une modernisation, du génie de plateformes, une gouvernance et des opérations gérées.
L’approche IA HCLTech-Intel repose sur cinq principes :
D’abord le CPU lorsque c’est possible, le GPU lorsque c’est nécessaire
Commencez par classer les charges de travail. L’inférence légère et moyenne, les embeddings, la classification, la synthèse, la prétraitement des données, les flux de travaux d’agents fortement basés sur des règles et de nombreux cas d’utilisation de la vision par ordinateur peuvent fonctionner efficacement sur les terminaux Intel Xeon ou Intel optimisés pour l’IA. L’entraînement de grands modèles, le service LLM à forte concurrence et les charges de travail à large contexte peuvent exiger des GPU.
L’objectif n’est pas de remplacer les GPU. L’objectif est de protéger les investissements en GPU en les utilisant uniquement là où ils créent une valeur différenciée.
Optimiser le modèle avant d’étendre le matériel
De nombreuses entreprises dépensent trop parce qu’elles dimensionnent l’infrastructure avant d’optimiser les modèles. La quantification, l’élagage, le traitement par lots, la mise en cache, la distillation de modèles et l’optimisation à l’exécution peuvent réduire considérablement les besoins de calcul.
L’écosystème logiciel d’Intel, comprenant OpenVINO et les optimisations basées sur oneAPI, soutient cette transition vers une inférence efficace sur le matériel Intel. HCLTech met l’accent sur la conversion de modèles, la quantification INT8, l’élagage et l’ordonnancement multi-moteurs dans le cadre de modèles d’inférence évolutifs à la périphérie.
Rapprocher l’IA du processus opérationnel
Une IA abordable ne concerne pas seulement le centre de données. Certains cas d’utilisation deviennent plus économiques lorsque l’inférence a lieu près du point terminal, de l’usine, de la succursale, du poste de travail ou du site en périphérie.
HCLTech a positionné des solutions de points terminaux IA propulsées par Intel pour exécuter des tâches d’IA localement sur les dispositifs d’extrémité, améliorant la performance, la latence, la confidentialité et la sécurité en limitant le besoin d’envoyer les données à des serveurs distants.
Ceci est particulièrement pertinent dans la fabrication, la vente au détail, la santé, la banque et les opérations sur le terrain, où la faible latence, la confidentialité des données et la résilience opérationnelle sont critiques.
Construire une architecture IA hybride
L’avenir de l’IA d’entreprise n’est pas que CPU ou que GPU. C’est un modèle hybride.
Une architecture IA bien conçue peut inclure :
- Des processeurs Intel Xeon pour l’inférence, l’orchestration, le prétraitement, l’apprentissage machine classique, la logique applicative et les charges de travail sécurisées d’entreprise
- Des GPU pour l’entraînement à grande échelle, l’ajustement fin et le service de modèles à haut débit
- Des PC IA et des terminaux de périphérie pour l’inférence locale et la productivité sensible au contexte utilisateur
- Des plateformes cloud, cloud privé et sur site selon les besoins en souveraineté des données, latence et conformité
Le travail d’infrastructure cognitive de HCLTech reflète cette orientation, y compris l’inférence sur CPU, la consolidation de GPU, l’optimisation des charges de travail, l’IA privée et les modèles de déploiement hybrides.
Mesurer le coût par résultat, pas le coût par accélérateur
L’unité de valeur en IA n’est pas le nombre de GPU déployés, mais le résultat opérationnel par dollar, par watt et par unité de complexité opérationnelle.
Pour un moteur de synthèse de sinistres, cela peut signifier le coût par document traité. Pour un système industriel de vision, cela peut signifier le coût par ligne d’inspection. Pour un assistant à la programmation, cela peut signifier le coût par flux de travail de développeur. Pour un copilote du service d’assistance, cela peut signifier le coût par billet résolu.
Cela redéfinit les décisions d’infrastructure IA autour de la valeur mesurable plutôt que des préférences matérielles.
Un modèle pratique de placement de l'IA en entreprise
Les entreprises peuvent utiliser le modèle décisionnel suivant :
| Type de charge de travail | Point de départ privilégié | Quand ajouter l'accélération GPU |
| Apprentissage automatique classique, analytique, prétraitement | Intel Xeon | Lorsque la taille de l'ensemble de données ou les objectifs de latence dépassent ce que permet l’économie du processeur |
| Représentations vectorielles et recherche sémantique | Intel Xeon ou instances CPU optimisées | Pour un très haut débit ou un traitement par lots massif de représentations |
| Inférence de LLM petits et moyens | Intel Xeon avec AMX et environnements d'exécution optimisés | Pour une haute concurrence, des modèles plus volumineux ou des accords stricts de latence (SLA) |
| Applications RAG | Xeon pour l'orchestration, la récupération, le classement et les garde-fous | GPU pour la génération de grands modèles à grande échelle |
| Vision par ordinateur à la périphérie | Point d'accès IA / Xeon / Intel Core Ultra, selon l’empreinte | GPU pour modèles multi-caméras, à haute fréquence d’images ou complexes |
| Entraînement et ajustement de grands modèles | GPU | Typiquement, mené par le GPU dès le départ |
| Flux de travail IA agentique | Xeon pour l'orchestration, les outils, la politique et l'exécution sécurisée | GPU pour appels de modèles lourds et inférence à grand volume |
L’IA abordable : une discipline architecturale
La prochaine phase d’adoption de l’IA sera définie moins par la possession du plus grand groupe de GPU que par la capacité à industrialiser l’IA de façon efficiente.
Cela signifie d’associer les charges de travail au bon type de puce, d’optimiser les modèles avant de faire évoluer l’infrastructure, de rapprocher l’inférence des endroits où se prennent les décisions et de créer un modèle d’exploitation géré auquel les entreprises peuvent faire confiance.
Le dimensionnement approprié des GPU est une pratique utile. Mais il ne s’agit que d’une partie de l’équation de l’IA abordable. La plus grande opportunité réside dans le placement optimal de la capacité IA entre processeur, GPU, périphérie et environnement infonuagique. Avec les processeurs Intel Xeon, l’accélération IA intégrée, des cadres logiciels optimisés et les capacités d’ingénierie de l’IA et opérations d’entreprise de HCLTech, les organisations peuvent passer de l’expérimentation à la mise à l’échelle de l’IA — avec coût, contrôle et confiance.
L’IA abordable, ce n’est pas choisir le CPU au lieu du GPU. C’est choisir la bonne capacité de calcul pour la bonne charge de travail, chaque fois.
