Introduction
Pendant longtemps, amener un ordinateur à comprendre le monde tridimensionnel à partir de photographies plates a été l'un des problèmes les plus difficiles dans le domaine de la vision par ordinateur. Les chercheurs ont construit de nombreux outils pour cela : des méthodes qui associent des caractéristiques à travers des photos, des systèmes qui mesurent la profondeur à partir de deux caméras côte à côte, et des logiciels qui transforment des milliers de points d'image en formes 3D approximatives. Ces outils ont fait de réels progrès, mais ils partageaient tous une faiblesse commune. Ils pouvaient déterminer la forme des objets, mais ils ne pouvaient pas vraiment comprendre comment la lumière se déplace à travers une scène.
Cela a changé en 2020, lorsqu'un article de recherche a introduit une nouvelle approche qui est devenue connue dans le domaine sous le nom de champs de radiance neuronale. Plutôt que de construire un squelette géométrique d'une scène, cette méthode a entraîné un petit réseau neuronal à représenter une scène entière comme une fonction continue de l'espace et de la lumière. Les résultats étaient bien meilleurs que tout ce qui avait été fait auparavant, surtout lorsque l'objectif était de générer ce à quoi une scène ressemblerait d'un angle de caméra qui n'avait jamais été photographié.
Cet article explique comment cette technologie fonctionne, pourquoi elle est importante pour les industries riches en données, quelles sont ses véritables faiblesses et où elle se dirige à mesure qu'elle devient plus pratique pour un usage quotidien.
Ce que les anciennes méthodes ont mal compris
Pour comprendre pourquoi cette nouvelle approche représente un tel bond en avant, il est utile de comprendre le mur qu'elle a brisé.
Les anciens outils de reconstruction tridimensionnelle fonctionnent en trouvant des points correspondants à travers plusieurs photographies et en calculant leurs positions dans l'espace à l'aide de la géométrie. Le résultat est généralement un nuage de points — essentiellement une grande collection de points dans l'espace tridimensionnel — ou un maillage constitué de triangles connectés qui approximativement la surface des objets. Ces représentations présentent plusieurs problèmes bien connus :
- Les surfaces lisses, brillantes ou transparentes compliquent l'étape de correspondance des caractéristiques, laissant des lacunes dans la reconstruction
- Les détails fins comme les cheveux, les feuilles et les tissus sont difficiles à récupérer avec précision
- Les méthodes capturent la forme mais ont du mal à capturer l'apparence des surfaces sous différents éclairages ou sous différents angles de vue
- Générer ce à quoi une scène ressemblerait d'un angle de caméra complètement nouveau produit des résultats flous ou déformés
Le problème plus profond est que ces méthodes considèrent une scène comme une collection de surfaces. Mais les surfaces sont une abstraction humaine. La lumière ne suit pas cette abstraction. Elle voyage à travers l'espace, rebondit, s'absorbe dans les matériaux et se disperse de manière complexe. La nouvelle approche, en revanche, embrasse cette réalité physique et modélise la scène comme un volume d'espace plutôt que comme une collection de surfaces.
L'idée principale : Représenter une scène comme une fonction apprise
L'idée centrale de cette approche est de représenter une scène non pas comme un maillage ou un ensemble de points, mais comme une fonction mathématique stockée à l'intérieur d'un réseau de neurones — spécifiquement un type de réseau appelé perceptron multicouche, qui est une séquence de couches connectées qui transforme des nombres à travers des opérations apprises.
La fonction prend en entrée un input en cinq parties : une position tridimensionnelle dans l'espace — un point spécifique identifié par ses coordonnées — et une direction de vue bidimensionnelle qui décrit d'où l'observateur regarde. Étant donné ces cinq nombres, le réseau produit deux choses :
- La densité ou la solidité de l'espace à ce point — essentiellement si quelque chose de physique occupe cet emplacement
- Quelle couleur l'espace émet depuis cette direction de vue spécifique
Le composant de direction de vue est important. Un morceau de métal poli a un aspect différent lorsque vous le regardez de face par rapport à un angle. Une surface mouillée reflète le ciel lorsqu'elle est vue sous un angle et apparaît sombre lorsqu'elle est vue sous un autre. Les représentations traditionnelles basées sur des maillages approchent cela avec des paramètres matériels. Cette approche l'apprend directement à partir de photographies.
Former le réseau implique de lui fournir un ensemble de photographies d'une scène — généralement entre vingt et quelques centaines — ainsi que la position et l'orientation précises de la caméra pour chaque photo. Le réseau est ensuite ajusté à l'aide d'un processus d'optimisation. Pour chaque photographie d'entraînement, le système projette des rayons virtuels à travers chaque pixel, échantillonne de nombreux points le long de chaque rayon, demande au réseau quelle couleur et quelle densité existent à chaque échantillon, et combine ces réponses en utilisant les mêmes mathématiques qui décrivent comment la lumière s'accumule dans un brouillard ou un nuage. Le résultat combiné doit correspondre à la photographie originale. La différence entre la couleur prédite et la couleur réelle est utilisée pour ajuster les poids du réseau. Ce cycle se répète des millions de fois jusqu'à ce que le réseau ait appris à reproduire avec précision chaque photographie d'entraînement.
À ce stade, le réseau a implicitement appris la structure tridimensionnelle de la scène. Aucune donnée tridimensionnelle explicite n'a jamais été fournie. La géométrie a émergé du processus d'apprentissage pour reproduire des photographies à partir de positions de caméra connues.
La physique derrière l'étape de rendu
L'étape de rendu — le processus de transformation des sorties du réseau en couleur de pixel — s'appuie sur la physique bien établie de la façon dont la lumière se déplace à travers des volumes.
Lorsqu'un rayon de lumière passe à travers du brouillard, de la fumée ou tout milieu partiellement transparent, il accumule progressivement de la couleur à partir des particules qu'il traverse, et il peut être bloqué par des régions plus denses. Les mathématiques qui décrivent ce processus sont utilisées dans les effets visuels de films depuis des décennies. Cette approche applique les mêmes mathématiques, mais à l'envers — au lieu de rendre un volume connu, elle apprend ce que le volume doit être pour produire des photographies connues.
Parce que chaque étape de ce processus — la requête du réseau, la combinaison d'échantillons le long du rayon — est mathématiquement différentiable, ce qui signifie que les gradients peuvent y circuler, l'ensemble du système peut être entraîné de bout en bout en utilisant des outils d'apprentissage profond standard. Le réseau apprend la géométrie en étant pénalisé chaque fois qu'il rend une photographie incorrectement.
Une amélioration pratique appelée échantillonnage hiérarchique concentre l'effort computationnel sur des régions de l'espace où la densité est élevée, plutôt que de gaspiller des échantillons dans un espace vide. Cela rend la méthode plus rapide sans sacrifier la qualité.
Pourquoi cela compte pour les systèmes de données et les applications industrielles
Cette technologie n'est pas seulement un exercice académique. Elle a des implications directes pour les industries qui travaillent avec des données spatiales, des flux de travail d'inspection, des simulations et la gestion d'actifs physiques.
Jumeaux numériques et cartographie des installationssont l'une des applications les plus immédiates. Un modèle peut être entraîné sur des vidéos ou des photographies capturées par un drone ou une caméra portable se déplaçant dans une installation industrielle. Le résultat est une représentation tridimensionnelle photoréaliste et interrogeable qui est beaucoup plus fidèle à l'apparence visuelle réelle de l'installation que les nuages de points de scan laser traditionnels. Les inspecteurs peuvent virtuellement se déplacer dans l'espace, zoomer sur l'équipement et détecter des changements visuels au fil du temps.
Imagerie médicale et planification chirurgicalecommencent à utiliser cette technologie avec des vidéos capturées pendant une chirurgie peu invasive. Plutôt que de se fier uniquement aux scans réalisés avant l'opération, un modèle entraîné sur la vidéo à l'intérieur du corps peut produire un modèle tridimensionnel continu de la géométrie des tissus qui reflète l'état réel des tissus pendant la procédure.
Simulation pour systèmes autonomesfait face à un problème persistant de rareté des données. Entraîner un système de conduite autonome nécessite d'énormes quantités de données visuelles photoréalistes et physiquement précises couvrant des scénarios rares et dangereux qui sont difficiles à capturer dans le monde réel. Les modèles entraînés sur des séquences de conduite réelles peuvent reconstruire des scènes spécifiques et générer des vues sous de nouveaux angles de caméra ou dans différentes conditions d'éclairage — élargissant considérablement la diversité des données d'entraînement sans nécessiter de collecte de données physiques supplémentaires.
Visualisation de produits dans le commerce de détailutilise cette technologie pour produire des représentations tridimensionnelles de produits à partir de photographies standard, permettant une visualisation interactive des produits en ligne sans modélisation manuelle coûteuse.
Les limitations qui comptent pour l'utilisation en production
L'élégance de cette approche s'accompagne de coûts réels que toute équipe l'évaluant pour une utilisation en production doit comprendre.
Temps d'entraînementétait la faiblesse la plus significative de la méthode originale. Les premières versions nécessitaient de nombreuses heures, voire des jours, sur une carte graphique haut de gamme pour s'entraîner sur une seule scène. Cela rendait les flux de travail à retour rapide impraticables.
Vitesse de renduaggravait le problème. Générer une seule image nécessitait de requêter le réseau de neurones des millions de fois, ce qui était beaucoup trop lent pour une visualisation interactive ou des applications en temps réel.
Spécificité de la scèneest une contrainte fondamentale. Un modèle entraîné représente une scène et seulement cette scène. Il ne peut pas se généraliser à de nouveaux environnements. Chaque nouvelle scène nécessite un cycle d'entraînement complet depuis le début. Cela est fondamentalement différent d'un classificateur de réseau de neurones conventionnel, qui est entraîné une fois et peut être appliqué largement.
Objets en mouvementcontredisent l'hypothèse de base. La méthode suppose que la scène est stationnaire pendant le processus de capture. Capturer un espace avec des personnes qui y marchent ou des véhicules qui s'y déplacent viole cette hypothèse et dégrade considérablement le résultat.
Éclairage fixeest une autre limitation. Le modèle entraîné intègre les conditions d'éclairage qui étaient présentes lors de la capture. Il ne peut pas montrer à quoi ressemblerait la scène sous différents éclairages sans travail de modélisation supplémentaire.
Comment la communauté de recherche a abordé ces faiblesses
L'article original a inspiré une grande vague de recherches ultérieures, dont la plupart visaient directement les faiblesses décrites ci-dessus.
Un système développé par des chercheurs d'une grande entreprise de matériel graphique a remplacé le réseau de neurones par une table de recherche structurée utilisant une technique appelée encodage de hachage multirésolution. Ce changement a réduit le temps d'entraînement de plusieurs heures à quelques secondes et a rendu le rendu interactif possible.
Une autre ligne de travail a amélioré la qualité à différentes distances et échelles de vision en raisonnant sur le cône d'espace qu'un pixel représente, plutôt que sur un seul rayon mathématique. Cela a produit des résultats significativement meilleurs pour les scènes capturées à des distances variées.
Des extensions pour gérer de grands environnements extérieurs — villes, paysages, champs ouverts — ont abordé l'une des limitations pratiques les plus importantes, puisque la plupart des scénarios de capture du monde réel ne sont pas contenus dans un petit espace délimité.
Le travail sur les scènes déformables a introduit le concept d'un champ de déformation appris aux côtés de la représentation principale de la scène, permettant de reconstruire des personnes, des visages et d'autres sujets en mouvement à partir de vidéos.
Le travail sur la reconstruction de scènes à partir de collections de photos sur Internet — photos prises par de nombreuses personnes différentes sous de nombreuses conditions d'éclairage différentes, à différents moments de la journée, avec des passants aléatoires dans le cadre — a rendu la méthode applicable à des ensembles de données réels massifs et désordonnés plutôt qu'à des captures propres et contrôlées.
Une approche concurrente : représentation de scène avec des formes gaussiennes
Il serait incomplet de discuter de ce domaine de recherche sans mentionner une approche concurrente qui a émergé plus récemment et a gagné une attention significative.
Plutôt que d'utiliser un réseau de neurones pour encoder la scène comme une fonction continue, cette approche représente la scène comme une grande collection de petites formes ovales tridimensionnelles — techniquement appelées primitives gaussiennes — chacune ayant sa propre position, taille, orientation, transparence et couleur dépendante de la vue. Ces formes sont projetées sur le plan de l'image et combinées à l'aide d'un processus de rendu rapide et parallélisé pour produire l'image finale.
Cette représentation permet un rendu en temps réel — souvent de trente à plus de cent images par seconde à haute résolution — tout en égalant ou en dépassant la qualité de l'approche basée sur les réseaux de neurones. L'entraînement reste également rapide, se terminant généralement en quelques minutes plutôt qu'en heures pour des scènes typiques.
Le compromis est l'utilisation de la mémoire. Une scène représentée par des millions de ces petites formes peut nécessiter de nombreux gigaoctets de stockage, tandis qu'un réseau de neurones compact entraîné peut représenter une scène en quelques mégaoctets. Pour les applications qui impliquent le streaming de contenu tridimensionnel sur un réseau, cette différence est significative.
Les chercheurs explorent de plus en plus des représentations hybrides qui combinent les meilleures propriétés des deux approches.
Connexion avec de grands modèles de vision et de langage
L'une des directions de recherche les plus actives actuellement relie cette technologie de représentation de scène à de grands modèles qui comprennent le langage et la sémantique visuelle.
Une représentation de scène standard entraînée est purement visuelle — elle encode l'apparence et la géométrie sans comprendre quels objets sont présents ou ce qu'ils signifient. Des travaux récents ont attaché des informations sémantiques basées sur le langage à la représentation tridimensionnelle, permettant aux utilisateurs d'interroger des emplacements spatiaux par langage naturel. Par exemple, un utilisateur pourrait demander "où est l'extincteur ?" et recevoir une région surlignée dans la scène tridimensionnelle plutôt que de devoir la chercher visuellement.
Cette combinaison de reconstruction géométrique avec compréhension sémantique a des implications significatives pour la robotique. Un bras robotique effectuant une tâche dans un entrepôt ou un robot mobile naviguant sur un sol d'usine doit non seulement percevoir la géométrie de son environnement, mais aussi raisonner sur les objets présents et leur emplacement. Une représentation de scène qui est simultanément géométrique, photoréaliste et sémantiquement interrogeable répond directement à ce besoin.
Considérations pratiques pour le déploiement
Les organisations évaluant cette technologie pour une utilisation en production doivent réfléchir attentivement à plusieurs facteurs pratiques.
Qualité de captureest la base de tout. La reconstruction n'est aussi bonne que les photographies d'entrée. Le flou de mouvement, le chevauchement insuffisant entre les vues adjacentes et les chemins de caméra qui ne couvrent pas la scène sous suffisamment d'angles compromettront la qualité, peu importe la sophistication du modèle sous-jacent. Apprendre à bien capturer est aussi important que de comprendre le modèle lui-même.
Exigences de calculvarient en fonction du cas d'utilisation. La visualisation interactive en temps réel bénéficie de l'approche basée sur la forme décrite ci-dessus. Le rendu par lots des actifs de visualisation peut utiliser des méthodes plus lentes mais de meilleure qualité. L'entraînement à grande échelle pour des scènes grandes ou haute résolution nécessite plusieurs cartes graphiques.
Intégration de pipelineest souvent le défi sous-estimé. La technologie nécessite un système environnant pour ingérer les images capturées, estimer les positions de la caméra, exécuter le processus d'entraînement et exporter les résultats dans un format utilisable en aval — que ce soit une vidéo rendue, un maillage extrait ou une représentation tridimensionnelle diffusée.
Confidentialité des données et propriétéméritent de l'attention. Les reconstructions d'installations, de produits ou d'espaces physiques sensibles de propriété privée comportent les mêmes considérations de confidentialité que tout autre actif de données sensibles.
Vers où cette technologie se dirige
Plusieurs développements dans ce domaine devraient arriver dans les deux à trois prochaines années.
L'entraînement directement sur des dispositifs en périphérie — rendu possible par des méthodes d'encodage plus efficaces — rendra pratique la production de reconstructions tridimensionnelles de haute qualité sur un téléphone mobile ou un dispositif embarqué sans envoyer de données vers le cloud. Des applications produisant des actifs tridimensionnels photoréalistes à partir d'une courte vidéo capturée sur un smartphone commencent déjà à apparaître.
Des modèles capables de généraliser à travers des scènes — reconstruisant un nouvel environnement à partir de seulement quelques photographies sans un entraînement complet — réduiront considérablement le coût par scène. Les premiers travaux dans cette direction montrent déjà des promesses.
Des extensions qui comprennent les propriétés physiques des matériaux — comment les surfaces réfléchissent, absorbent et diffusent la lumière — permettront le re-illumination et l'édition de matériaux. Cela est important pour la simulation industrielle où les conditions d'éclairage doivent être contrôlées de manière programmatique.
La frontière entre cette technologie et l'intelligence artificielle générative est également en train de se dissoudre. Des systèmes existent désormais qui peuvent générer un objet ou une scène tridimensionnelle complète à partir d'une description textuelle, utilisant ce type de représentation de scène en interne et supervisant sa génération avec un modèle de génération d'images guidé par le texte. Cela changera considérablement les flux de travail de création de contenu tridimensionnel.
Conclusion
L'approche de représenter des scènes comme des fonctions continues apprises de l'espace et de la lumière constitue un véritable changement dans la façon dont les machines comprennent le monde tridimensionnel — pas seulement une amélioration incrémentale des méthodes plus anciennes. En apprenant à reproduire des photographies à partir de positions de caméra connues, ces systèmes découvrent implicitement la géométrie et l'apparence, capturant des détails et des effets dépendants de la vue que les méthodes basées sur les surfaces ne peuvent pas.
Les limitations initiales concernant la vitesse d'entraînement, la vitesse de rendu et la spécificité des scènes ont été considérablement abordées par des recherches ultérieures. La technologie est maintenant suffisamment mature pour une évaluation sérieuse en production dans la création de jumeaux numériques, la simulation de systèmes autonomes, l'imagerie médicale et l'informatique spatiale.
Pour les équipes de systèmes de données qui se demandent où l'intelligence artificielle spatiale s'intègre dans leur infrastructure, la question n'est plus de savoir si cette technologie est suffisamment performante. Il s'agit de savoir si le pipeline de capture, l'infrastructure de calcul et les flux de travail d'intégration des données sont prêts à en faire usage.