Les conversations sur l’infrastructure AI commencent souvent par une question familière : Combien de GPU nous faut-il ? Bien que cette question soit importante, ce n’est pas toujours la première que les entreprises devraient se poser.
Une récente discussion de l’industrie sur la bonne dimension de l’infrastructure GPU met en lumière un véritable problème : une infrastructure sous-dimensionnée peut nuire à la performance, tandis qu’un parc GPU surdimensionné peut laisser une capacité coûteuse inutilisée. Elle souligne également la nécessité de distinguer l’entraînement, les charges de travail en lot et l’inférence en ligne, car chacune présente des caractéristiques différentes en matière de latence, de débit et d’utilisation.
Cependant, pour de nombreuses entreprises, la question stratégique est plus large : Quelles charges de travail nécessitent des GPU, lesquelles peuvent s’exécuter efficacement sur des CPU et lesquelles devraient se rapprocher de la périphérie ?
Ce changement de réflexion est essentiel pour rendre l’AI abordable.
De l’approche « GPU-first » à l’approche « workload-first » pour l’AI
Les GPU sont indispensables pour de nombreuses charges de travail AI, en particulier pour l’entraînement de modèles à grande échelle, l’inférence à haute concurrence, les modèles GenAI à large contexte et les charges qui exigent une haute bande passante mémoire. Toutefois, une stratégie « GPU-first » peut devenir coûteuse si chaque cas d’utilisation AI est traité comme s’il nécessitait la même classe d’accélérateur.
L’AI d’entreprise n’est pas une seule charge de travail. C’est un portefeuille. Il comprend la génération augmentée par récupération, les embeddings, la synthèse, la classification, les moteurs de recommandation, l’apprentissage automatique classique, la vision par ordinateur, la détection d’anomalies, l’intelligence documentaire, les copilotes AI, les workflows agentiques et la prétraitement des données. Certaines de ces tâches nécessitent de grands clusters GPU. Plusieurs non.
Le principe de l’AI abordable est simple : utiliser les GPU là où ils offrent une valeur unique et utiliser le calcul basé sur Intel Xeon là où il offre le bon équilibre entre performance, coût, disponibilité, sécurité et simplicité opérationnelle.
Intel continue d’investir dans la performance AI basée sur les CPU. Intel a rapporté que les processeurs Xeon 6 avec Performance-cores ont obtenu une amélioration de ~1,9x de la performance moyenne d’inférence AI par rapport aux Xeon de 5e génération sur six tests MLPerf et jusqu’à 17x sur BERT par rapport aux soumissions Xeon de 3e génération sur quatre ans. La plateforme Xeon de 5e génération d’Intel intègre également des accélérateurs AI dans chaque cœur, visant les charges de travail AI de bout en bout avant que les clients aient besoin d’ajouter des accélérateurs discrets.
Pourquoi les CPU comptent dans l’AI d’entreprise
Le CPU est déjà le plan de contrôle de l’informatique d’entreprise. Il exécute le système d’exploitation, le réseau, la sécurité, le déplacement de données, la logique applicative, l’orchestration, le prétraitement et le posttraitement qui entourent les modèles AI. Dans de nombreuses applications AI réelles, ces tâches périphériques ne sont pas accessoires : ce sont la charge de travail.
Ceci est particulièrement vrai pour l’AI en production. Après tout, un chatbot va bien au-delà de la génération de tokens ; une solution RAG n’est pas limitée au modèle de langage ; un système de vision par ordinateur est plus qu’une simple inférence. Ces solutions comprennent également des pipelines de données, la recherche vectorielle, la vérification de politiques, les appels API, les contrôles d’accès, la surveillance, la journalisation, les garde-fous, l’intégration des workflows et les opérations de cycle de vie.
C’est là que l’infrastructure basée sur Intel Xeon prend tout son sens. Avec les Intel Advanced Matrix Extensions, l’accélération AI est directement intégrée dans les cœurs du processeur, ce qui permet l’inférence basée sur CPU pour les charges où le modèle économique et opérationnel est préférable à celui du déploiement de GPU discrets. AWS a démontré une accélération de l’inférence AI jusqu’à 76 % basée sur CPU à l’aide d’Intel AMX sur les instances Amazon EC2 de 8e génération, et que l’inférence sur CPU peut être adaptée lorsque le coût, la complexité opérationnelle et la compatibilité de l’infrastructure sont des facteurs clés.
Pour les entreprises, cela peut signifier une adoption AI plus pragmatique : partir des modèles d’infrastructure x86 existants, optimiser les modèles avec la quantification et l’accélération logicielle, et réserver les GPU aux charges qui en ont réellement besoin.
L’économie sous-estimée de l’AI abordable
Adapter la taille des GPU peut réduire le gaspillage. Mais l’AI abordable exige d’optimiser l’ensemble de la structure des coûts :
- Coût d’infrastructure : Toute charge de travail ne devrait pas consommer une capacité GPU rare
- Utilisation : Les GPU offrent de la valeur lorsqu’ils sont fortement utilisés. Nombreuses sont les charges d’inférence en entreprise qui sont épisodiques, intermittentes ou sensibles à la latence, plutôt que continuellement saturées
- Complexité opérationnelle : Les clusters GPU ajoutent des exigences supplémentaires en termes d’ordonnancement, de pilotes, de réseau, de refroidissement, de planification de capacité et d’opérations spécialisées
- Mouvement des données : Déplacer les données vers une infrastructure GPU centralisée peut ajouter de la latence, des coûts de bande passante et exposer la confidentialité
- Sécurité et conformité : Les charges réglementées peuvent bénéficier du fait que les données soient traitées ou stockées plus près du lieu de génération
- Énergie et durabilité : L’accélérateur le plus puissant n’est pas toujours le choix le plus efficient pour chaque tâche
Une stratégie incluant les CPU aide les entreprises à éviter un faux dilemme : soit acheter une capacité GPU coûteuse, soit retarder l’adoption de l’AI. Elles peuvent plutôt bâtir une architecture AI à plusieurs niveaux, qui associe les exigences des charges de travail au bon niveau de calcul.
Le point de vue HCLTech et Intel : L’AI doit être placée, pas seulement dimensionnée
HCLTech et Intel entretiennent une collaboration de longue date couvrant le cloud, l’AI, la périphérie, le lieu de travail numérique et la modernisation de l’infrastructure. Le partenariat HCLTech-Intel s’étend sur plus de 30 ans, avec des équipes d’ingénierie, des laboratoires d’expérience client et des laboratoires AI et cloud natif dédiés pour appuyer la transformation des entreprises.
Ceci est important parce que l’AI d’entreprise ne se résout pas uniquement par le matériel. Elle exige évaluation, architecture, modernisation, ingénierie de plateforme, gouvernance et opérations gérées.
L’approche AI de HCLTech et Intel repose sur cinq principes :
Favoriser le CPU lorsque c’est pratique, le GPU lorsque nécessaire
Commencez par classifier les charges de travail. L’inférence légère et moyenne, les embeddings, la classification, la synthèse, le prétraitement des données, les workflows agents axés sur les règles, et de nombreux cas de vision par ordinateur peuvent fonctionner efficacement sur Intel Xeon ou des points de terminaison Intel activés AI. L’entraînement de modèles volumineux, le service LLM à haute concurrence et les charges à large contexte peuvent nécessiter des GPU.
L’objectif n’est pas de remplacer les GPU. L’objectif est de protéger les investissements GPU en ne les utilisant que là où ils créent une valeur différenciée.
Optimiser le modèle avant d’agrandir le matériel
De nombreuses entreprises dépensent trop parce qu’elles élargissent l’infrastructure avant d’optimiser les modèles. La quantification, l’élagage, le batching, la mise en cache, la distillation des modèles et l’optimisation à l’exécution peuvent réduire considérablement les besoins en calcul.
L’écosystème logiciel d’Intel, incluant OpenVINO et les optimisations basées sur oneAPI, appuie ce passage vers une inférence efficace sur l’ensemble du matériel Intel. HCLTech mise sur la conversion de modèle, la quantification INT8, l’élagage et l’ordonnancement multi-moteur pour des schémas scalables d’inférence en périphérie.
Rapprocher l’AI du processus d’affaires
Rendre l’AI abordable ne concerne pas que le centre de données. Certains cas d’utilisation deviennent plus économiques lorsque l’inférence se fait plus près du point d’extrémité, de l’usine, de la succursale, du poste de travail ou du site en périphérie.
HCLTech met de l’avant des solutions AI à points de terminaison propulsées par Intel pour exécuter localement des tâches AI sur les appareils, améliorant la performance, la latence, la confidentialité et la sécurité en réduisant le besoin d’envoyer les données à des serveurs distants.
Cela est particulièrement pertinent dans la fabrication, le commerce de détail, la santé, la banque et les opérations sur le terrain, où la faible latence, la confidentialité des données et la résilience opérationnelle sont essentielles.
Concevoir une architecture AI hybride
L’avenir de l’AI d’entreprise n’est ni tout CPU ni tout GPU. C’est un hybride.
Une architecture AI bien conçue peut inclure :
- Processeurs Intel Xeon pour l’inférence, l’orchestration, le prétraitement, le ML classique, la logique applicative et les charges d’entreprise sécurisées
- GPU pour les entraînements à grande échelle, le fine-tuning et le service de modèles à haut débit
- PC AI et points de terminaison en périphérie pour l’inférence locale et la productivité contextuelle à l’utilisateur
- Cloud, cloud privé et plateformes sur site selon les besoins de souveraineté des données, de latence et de conformité
Les travaux de HCLTech sur l’infrastructure cognitive reflètent cette orientation, en incluant l’inférence basée sur CPU, la consolidation GPU, l’optimisation des charges, l’AI privée et les modèles de déploiement hybrides.
Mesurer le coût par résultat, pas le coût par accélérateur
L’unité de valeur en AI n’est pas le nombre de GPU déployés, mais le résultat d’affaires par dollar, par watt et par niveau de complexité opérationnelle.
Pour un moteur de synthèse de réclamations, cela peut signifier le coût par document traité. Pour un système de vision industrielle, le coût par ligne d’inspection. Pour un assistant de codage, le coût par workflow développeur. Pour un copilot du service d’assistance, le coût par billet résolu.
Cela permet de réorienter les décisions d’infrastructure AI autour de la valeur mesurable plutôt que selon une préférence matérielle.
Un modèle pratique de positionnement de l’AI d’entreprise
Les entreprises peuvent utiliser le modèle de décision suivant :
| Type de charge de travail | Point de départ préféré | Quand ajouter une accélération GPU |
| ML classique, analytique, prétraitement | Intel Xeon | Lorsque la taille de l’ensemble de données ou la cible de latence excède la rentabilité des CPU |
| Embeddings et recherche sémantique | Intel Xeon ou instances CPU optimisées | Pour un très haut débit ou l’embedding par lots à grande échelle |
| Inférence LLM petite et moyenne | Intel Xeon avec AMX et environnements optimisés | Pour une haute concurrence, des modèles plus volumineux ou des objectifs stricts de latence |
| Applications RAG | Xeon pour l’orchestration, la récupération, le classement et les garde-fous | GPU pour la génération de modèles volumineux à l’échelle |
| Vision par ordinateur à la périphérie | Point de terminaison AI / Xeon / Intel Core Ultra selon le footprint | GPU pour multi-caméras, taux d’images élevé ou modèles complexes |
| Entraînement et fine-tuning de modèles volumineux | GPU | Généralement piloté par GPU dès le départ |
| Workflows AI agentiques | Xeon pour orchestration, outils, politiques et exécution sécurisée | GPU pour appels intensifs aux modèles et inférence à haut volume |
L’AI abordable : une discipline d’architecture
La prochaine phase d’adoption de l’AI sera définie moins par celui qui possède le plus grand cluster GPU que par celui qui sait industrialiser l’AI efficacement.
Cela signifie adapter les charges de travail à la bonne puce, optimiser les modèles avant d’étendre l’infrastructure, rapprocher l’inférence des points de décision et mettre en place un modèle opératoire maîtrisé et fiable pour les entreprises.
Adapter la taille des GPU est une pratique précieuse, mais ce n’est qu’une partie de l’équation pour une AI abordable. La plus grande opportunité consiste à bien positionner la puissance de calcul AI entre CPU, GPU, périphérie et environnements cloud. Grâce aux processeurs Intel Xeon, à l’accélération AI intégrée, aux cadres logiciels optimisés et aux capacités d’AI Engineering et d’exploitation d’entreprise de HCLTech, les organisations peuvent passer de l’expérimentation à l’AI à l’échelle, avec contrôle, rentabilité et confiance.
Rendre l’AI abordable, ce n’est pas faire le choix entre CPU et GPU. C’est faire le choix du bon calcul pour la bonne charge de travail, chaque fois.
