Les robots apprennent dans des mondes inventés depuis bien plus longtemps que l’enthousiasme actuel pour la simulation ne pourrait le laisser croire. En 1989, le projet ALVINN de Dean Pomerleau à Carnegie Mellon a été entraîné sur des images routières simulées avant d’être testé avec succès sur le véhicule autonome de l’université. Les graphiques étaient rudimentaires, mais la leçon est restée valable : un univers synthétique n’a pas besoin d’être une copie parfaite de la réalité, tant qu’il contient la structure, la variation et la rétroaction qu’exige la tâche. 

Voilà, en substance, le principe d’une « asset factory ». Un modèle 3D conventionnel nous dit à quoi ressemble un objet. La conception assistée par ordinateur (CAO) va plus loin en précisant les dimensions techniques et l’assemblage d’un objet. Un actif prêt pour la simulation doit aussi indiquer au robot le poids de l’objet, sa mobilité, les points de collision, la réaction des surfaces et la perception des capteurs. 

Si cet actif est destiné à l’apprentissage par renforcement, il doit aller encore plus loin en définissant ce que le robot peut observer et faire, ce qui constitue une progression et quels états représentent le succès ou l’échec. 

Le défi consiste à créer ces actifs efficacement et à grande échelle. Notre Asset Factory Blueprint réunit les principes d’un pipeline agentique, traçable et reproductible pour créer des actifs prêts pour la simulation et l’apprentissage. 

Des descriptions aux actifs exploitables par la machine 

Les entrées d’une asset factory peuvent prendre de nombreuses formes. Il peut s’agir de sources structurées comme des fichiers de CAO ou de modélisation des informations du bâtiment (BIM), de nomenclatures, de catalogues d’inventaire ou de descriptions de robots. Elles peuvent aussi être des photographies, des scans partiels, des manuels d’entretien, des notes d’opérateur ou même une description en une ligne, comme « un chariot en acier inoxydable sur roues avec deux portes verrouillables ». 

Quelle que soit l’entrée, l’usine préserve la preuve et détermine ce qui est connu, ce qui manque et ce qui reste incertain. La provenance et la tenue des dossiers sont fondamentales du fait que de petites erreurs peuvent avoir des conséquences importantes. Une mauvaise échelle peut modifier la géométrie de préhension, et un axe inversé peut introduire des erreurs subtiles dans la simulation, compromettant l’apprentissage par renforcement. 

Le Blueprint conserve un manifeste continu des sources et suit les unités, axes, droits d’utilisation des sources et sommes de contrôle tout au long du processus. 

La source progresse ensuite à travers les étapes nécessaires, de la reconstruction ou du conditionnement à la vérification du maillage, la segmentation sémantique, l’inférence des matériaux et propriétés physiques, la texturation, la physique et l’articulation, jusqu’à la vérification SimReady. 

Ce qui en ressort n’est pas simplement une représentation de l’objet, mais un ensemble de géométries vérifiées, pièces nommées, matériaux, corps de collision, propriétés de masse, articulations, affordances, variantes permises, provenance et incertitude. C’est la tâche qui détermine lesquels de ces éléments sont requis et ce que « prêt pour la simulation » signifie concrètement. 

Considérons un bac d’entrepôt avec un couvercle articulé. Qu’est-ce qu’un robot doit savoir à son sujet? 

Cela dépend de la tâche. Un robot qui ouvre le bac a besoin de l’échelle exacte, de l’axe et des limites de la charnière, de l’inertie du couvercle, de la géométrie de collision, du coefficient de friction et de la position des poignées. Un robot qui trie le bac se souciera davantage de l’apparence et de la réponse des capteurs. Un robot qui empile le bac mettra plutôt l’accent sur le centre de masse et la déformation. 

La fidélité dépend de la tâche. L’apparence et le comportement doivent aussi être cohérents : une surface qui ressemble à du caoutchouc mais qui se comporte comme de l’acier poli donne de fausses attentes au contact. 

C’est pourquoi le Blueprint peut utiliser les informations des nomenclatures, les noms de matériaux dans la CAO, les spécifications, les images et les notes d’opérateur pour proposer des propriétés physiques comprenant les unités, les intervalles, la preuve et le niveau de confiance. 

VoMP de NVIDIA, par exemple, prédit des propriétés mécaniques fines comme la densité, le module de Young et le coefficient de Poisson pour des objets 3D. 

Plutôt que de s’appuyer sur une seule inférence, on peut accumuler des preuves et les utiliser pour affiner les valeurs jusqu’à atteindre un niveau de certitude acceptable. On obtient ainsi un actif reconstruisible et exploitable par la machine. 

D’un objet à un objectif 

Un actif physique complet, aussi fidèle soit-il, n’est pas encore un environnement d’apprentissage par renforcement. Il doit aussi être connecté à un robot, à des capteurs, à une scène et à un contrat de tâche. 

L’extension d’apprentissage par renforcement du Blueprint fournit ce contrat en définissant ce qui peut être observé, quelles actions sont possibles, comment la récompense est calculée, quand les épisodes se terminent, comment la scène se réinitialise, quelles variations sont autorisées et quels tests valident le démarrage correct de l’environnement. 

Cela crée un environnement d’entraînement orienté objectif. 

Dans une tâche de prise et de dépose, les états physiques n’ont pas tous la même valeur. Fermer le préhenseur, réaliser une levée stable et atteindre la destination doivent amener la politique vers une récompense supérieure. Une collision, un glissement, un colis écrasé ou un contournement du simulateur doivent éloigner de l’objectif ou mettre fin à la tentative. 

D’un point de vue opérationnel, l’environnement « comprend » la tâche en reliant les conditions spatiales et physiques aux signaux d’apprentissage. 

La scène fait alors partie intégrante du système d’apprentissage. La géométrie détermine ce qui est accessible, la physique influe sur la conséquence de l’action. Les capteurs définissent ce qu’il est possible d’observer et le signal de récompense oriente les comportements à renforcer. 

Un univers mal conçu peut enseigner de mauvaises leçons avec une efficacité computationnelle remarquable. À l’inverse, des environnements de simulation accélérés par GPU peuvent, dans certains cas, réduire le temps d’entraînement pour l’apprentissage par renforcement de deux à trois ordres de grandeur comparativement à un apprentissage par renforcement conventionnel avec un simulateur basé sur processeur.

Puisque l’usine contrôle la variation, elle peut aussi soutenir des cursus adaptatifs. L’entraînement peut commencer avec un éclairage stable et des dispositions dégagées, puis introduire de nouveaux angles de vue, charges, frottement, usure, positions, bruit de capteur et distracteurs. Ainsi, la complexité accroît en parallèle de l’objectif d’apprentissage. 

Ni un jumeau numérique ni un simulateur 

Il est important de distinguer les asset factories de deux concepts similaires : les jumeaux numériques et les simulateurs. 

Un jumeau numérique représente typiquement un actif, une installation ou un procédé donné. Une asset factory peut consommer des entrées de jumeaux numériques ou produire des actifs qui s’intègrent à terme dans un jumeau, mais son but principal est différent : elle crée les actifs et variations dont un robot a besoin pour apprendre. 

Cette distinction change la cible. Une réplique exacte d’un seul bac bleu pourrait être moins utile pour l’entraînement que 10 000 bacs plausibles présentant des dimensions, une usure, des propriétés de surface, des charges et des placements variés. L’objectif est de générer une diversité d’expériences qui prépare le robot à la variabilité réelle, plutôt que de reproduire inlassablement la même instance. 

Une asset factory n’est pas non plus un simulateur. Le simulateur exécute la physique, génère les capteurs et fait avancer le temps. L’usine construit et valide les objets, scènes et contrats de tâche que le simulateur exécutera. 

En termes logiciels, le simulateur est l’exécution, tandis que l’usine fournit le compilateur, le système de construction et la suite de tests. 

Plus de réalisme n’est pas automatiquement mieux. L’aptitude à la préhension dépend davantage de la géométrie de contact, du frottement et de la masse, que de la reproduction fidèle d’un logo, alors qu’une inspection visuelle pourrait inverser ces priorités. La fidélité doit être déterminée par la tâche et le signal d’entraînement, et non par la vraisemblance du rendu. 

L’usine, voilà l’essentiel 

Historiquement, la création de contenus pour la simulation exigeait souvent des transferts entre ingénieurs CAO, artistes 3D, spécialistes des matériaux, ingénieurs en physique, roboticiens et équipes d’apprentissage par renforcement. Cette méthode fonctionne pour des démonstrations spécifiques, mais se révèle difficile à adapter à l’échelle de milliers d’environnements d’entraînement. 

« Un modèle 3D montre l’objet. La CAO le spécifie. Une asset factory lui donne des conséquences et un but. »

Le modèle d’« usine » vise à introduire la reproductibilité, le cheminement, le débit et le contrôle qualité. 

Une couche d’orchestration agentique peut transformer une demande en plan de traitement complet avec étapes, fournisseurs, types d’entrées et de sorties, portes de validation, reprises et conditions d’arrêt. Différents types de sources peuvent suivre des parcours différents dans le pipeline, tandis qu’une unité manquante, un droit absents ou une preuve cruciale entraînent un blocage, évitant ainsi des hypothèses non fondées. 

Rien de tout cela n’élimine le jugement humain. Il le déplace là où il a le plus de valeur. 

Des contrôles déterministes peuvent valider les schémas, sommes de contrôle, unités, complétude des paquets, chargement OpenUSD et configuration physique. Une révision vision-langage peut repérer des défauts perceptuels qui échapperaient à un validateur formel. Des réparations ciblées peuvent corriger des classes de défaut connues, tandis que les problèmes non résolus, la validation physique et les décisions de publication peuvent être soumis à une personne. 

C’est aussi ainsi que capacités publiques et propriétaires peuvent collaborer. OpenUSD et les technologies publiques de reconstruction, géométrie, simulation et validation fournissent une base interopérable. Nous y ajoutons nos moteurs propriétaires de rendu des matériaux, d’inférence de propriétés physiques, de coordination agentique et de conception d’environnements. 

Une architecture modulaire permet aussi d’intégrer de nouvelles technologies au pipeline à mesure de leur maturité. 

La simulation comme source d’expérience de premier ordre 

La simulation a souvent été considérée comme un substitut à la réalité. Dans Physical AI, elle peut aussi devenir une source d’expérience d’entraînement de premier ordre. 

Le monde réel demeure la référence ultime, mais il est difficile comme seul environnement d’entraînement. Il peut être lent, coûteux, difficile à réinitialiser et, dans certains cas, dangereux. Les échecs rares restent rares, l’état interne peut rester caché et la génération des étiquettes est souvent coûteuse. 

La simulation change ces contraintes. Elle permet de reproduire des cas limites à la demande, d’exposer l’état caché, de générer des étiquettes précises et d’exécuter des variantes en parallèle. Il devient alors possible de constituer des jeux de données qui seraient impraticables, risqués ou impossibles à rassembler physiquement. 

L’approche va des environnements d’ingénierie très détaillés à de vastes milieux opérationnels. Les données de CAO et de BIM, par exemple, peuvent aider à concevoir des environnements d’entraînement pour robots dans les mines, usines ou autres infrastructures. 

Le secteur de la santé est un autre exemple. Le jeu de données 1000 Lungs contient 1 000 épisodes virtuels synthétiques de bronchoscopie, conçus pour soutenir la recherche sur la navigation dans des voies respiratoires humaines synthétiques. Chaque cas intègre une anatomie générée, la géométrie des voies, une trajectoire de caméra de type intervention, des flux d’images rendues et des données de trajectoire. 

Quand les données du monde réel sont trop coûteuses ou difficiles à obtenir à l’échelle requise, la simulation peut offrir une expérience d’entraînement supplémentaire. 

Cela n’élimine pas le défi du passage de la simulation au réel. Une physique erronée produira simplement de l’expérience erronée, mais à grande échelle. 

C’est pourquoi l’incertitude, la provenance, les résultats de validation et l’adéquation à la tâche doivent accompagner chaque actif, tandis que les observations réelles continuent de calibrer l’usine et de fermer la boucle. 

Le Blueprint offre un cadre de référence pour ce processus, tandis que les implantations, y compris nos outils propriétaires, peuvent ajouter la précision physique nécessaire à des cas d’usage spécifiques. 

Industrialiser la création de mondes 

Une asset factory n’est pas un simple générateur de contenus avec une couche de physique ajoutée. C’est un système qui convertit des descriptions d’objets physiques en expériences machine couvrant géométrie, matériaux, comportement, perception, tâches et objectifs. 

À mesure que les modèles robotiques s’améliorent, c’est de plus en plus l’environnement d’apprentissage qui devient le facteur limitant. 

Les politiques d’entraînement ont besoin d’expériences à la fois diverses et contrôlées, synthétiques et fondées sur des preuves, pensées en fonction de la tâche plutôt que du spectacle visuel. Les asset factories rendent ce processus plus reproductible et évolutif. 

Les robots n’ont pas besoin d’un monde simplement convaincant. Ils ont besoin d’un monde qui réagit correctement, varie intelligemment et sait ce qu’est la réussite.