Cours complet sur l’IA générative appliquée à la 3D

Ce cours vise une compréhension à la fois théorique, système et production de l’IA générative 3D moderne.

Le paysage actuel repose sur une idée simple, mais décisive : en 3D, le modèle n’est jamais séparé de sa représentation. Un système qui génère un mesh éditable, un champ de radiance de type NeRF, une scène en Gaussian Splatting ou un latent sparse-voxel ne produit pas seulement un résultat différent visuellement ; il impose aussi des contraintes différentes sur la mémoire, le temps de calcul, l’entraînement distribué, l’inférence temps réel et l’intégration dans un pipeline artiste.

Cinq axes structurent tout le domaine :

Les représentations 3D : voxels, champs implicites, NeRF, gaussiennes 3D, nuages de points, maillages.
Les familles de modèles génératifs : VAE 3D, diffusion 3D, Diffusion Transformers (DiT), approches image-to-3D, générateurs de mesh, modèles hybrides.
L’entraînement à l’échelle : compression latente, structures clairsemées, parallélisme, coût mémoire, passage à l’échelle.
L’optimisation d’inférence : quantization, distillation, choix de scheduler, serving, latence, débit.
La production : Blender, Maya, validation artiste, export, nettoyage, monitoring, reproductibilité, déploiement.

Aujourd’hui, les piliers du paysage sont clairs. Image-to-3D cherche à reconstruire ou halluciner une géométrie plausible à partir d’une ou plusieurs images. La diffusion 3D apprend à débruiter une représentation 3D ou un latent 3D. La génération de mesh vise un objet réellement exploitable dans un pipeline DCC, pas seulement un rendu convaincant. NeRF représente une scène comme un champ continu de densité et de couleur, excellent pour la synthèse de nouvelles vues. Gaussian Splatting rend explicites des primitives 3D anisotropes, souvent beaucoup plus interactives au rendu, ce qui en fait un point de référence majeur pour les scènes et la visualisation .

Le bon réflexe n’est donc pas de demander quel est le meilleur modèle 3D. La vraie question est : meilleur pour quoi ? Pour produire vite des hypothèses ? Pour éditer dans Maya ? Pour faire du novel view synthesis ? Pour servir un modèle à grande échelle ? Pour générer des actifs compatibles avec un jeu, un film ou un configurateur produit ?

Ce cours suit cet ordre : d’abord les représentations, ensuite les familles de modèles, puis les conséquences système et production. C’est l’ordre qui fait vraiment comprendre le domaine.

Les représentations 3D qui structurent tout le domaine

En 2D, beaucoup de modèles travaillent sur une grille d’images, et la question de représentation est relativement stable. En 3D, ce n’est pas le cas. La représentation choisie détermine ce que le modèle peut apprendre facilement, ce qu’il coûte à entraîner, ce qu’il peut rendre rapidement et ce qu’un artiste peut réellement réutiliser.

Le vocabulaire de base se résume à quelques grandes familles :

Voxels denses : une grille 3D régulière, comme des pixels empilés dans l’espace.
Sparse voxels : la même idée, mais en ne stockant que les cellules utiles.
Nuages de points : un ensemble de points 3D, parfois enrichis par des normales, couleurs ou attributs.
Représentations implicites : une fonction continue décrit la surface ou le volume.
NeRF : un champ implicite qui associe densité et couleur à une position 3D et une direction de vue.
Gaussiennes 3D : des primitives explicites, positionnées dans l’espace, rendues par projection et accumulation.
Maillages : sommets, arêtes et faces formant une surface explicite éditable.

Le point clé est l’arbitrage suivant :

Le piège classique est de croire qu’une meilleure fidélité visuelle suffit. En production, un résultat 3D est jugé sur plusieurs axes à la fois :

finesse géométrique ;
cohérence multi-vues ;
temps de rendu ;
facilité d’édition ;
compatibilité Blender/Maya ;
coût de stockage et de serving.

Autrement dit, la représentation n’est pas un détail d’implémentation. C’est le socle du reste.

Voxels denses, sparse voxels et latents structurés

Un voxel est l’équivalent 3D d’un pixel. On découpe l’espace en petites cellules régulières et on stocke, pour chaque cellule, une information : occupée ou vide, densité, couleur, matériau, caractéristiques latentes.

L’intérêt pédagogique des voxels est immense : ils sont faciles à comprendre, naturellement alignés sur des convolutions 3D, et localisent bien l’information. Si un objet occupe une zone précise, on sait où chercher dans la grille.

Le problème, lui, est brutal. En 3D, la mémoire croît en gros avec le cube de la résolution. Passer d’une grille de taille à ne multiplie pas le coût par 4, mais par 64. C’est la première grande claque du domaine.

Pourquoi les voxels denses saturent vite

Imaginons un objet simple, comme une chaise. La majeure partie du volume englobant est vide. Pourtant, dans une grille dense, on paie aussi pour le vide. C’est comme louer un immeuble entier pour n’occuper que trois pièces.

Les voxels denses ont donc quatre limites majeures :

coût mémoire cubique ;
coût de calcul élevé ;
résolution limitée à budget fixe ;
mauvaise efficacité quand la surface occupe peu de volume.

L’idée des sparse voxels

Les sparse voxels gardent la structure spatiale des voxels, mais ne stockent que les régions utiles, en général près de la surface ou dans les zones effectivement occupées. On conserve ainsi la localité spatiale sans payer le plein prix d’une grille dense.

C’est précisément ce type d’idée qui rend possibles les approches modernes fondées sur des latents structurés sparse-voxel. Des travaux récents mettent en avant des VAE 3D capables d’encoder des formes dans des représentations compactes et explicites, conçues pour être ensuite modélisées par diffusion ou DiT .

Le compromis réel

Quatre termes gouvernent le choix :

résolution spatiale : plus on veut de détail, plus il faut de cellules ou de structure hiérarchique ;
localité : les voxels sont excellents pour exprimer que des points voisins interagissent ;
coût de calcul : il faut limiter les zones traitées ;
passage à l’échelle : une structure exploitable sur quelques objets doit encore tenir sur des millions d’exemples.

C’est pour cela que les latents structurés sont si importants. On n’essaie plus de faire directement de la génération dans un espace 3D brut trop coûteux. On compresse d’abord la géométrie et les attributs utiles dans un espace latent plus compact, mais qui préserve la structure spatiale. Ensuite, un générateur plus puissant — souvent un modèle de diffusion ou un DiT — travaille dans cet espace plus maniable.

Le piège ici est de croire qu’un latent compact signifie forcément perte fatale d’information. En pratique, tout l’art consiste à compresser ce qui peut l’être sans détruire les structures que le décodeur devra reconstruire : surfaces, épaisseur, détails locaux, parfois texture ou matière.

Représentations implicites : SDF, champs de densité et radiance

Une représentation implicite ne stocke pas d’abord des cellules ou des triangles. Elle définit une fonction continue sur l’espace. On donne une position 3D , et la fonction répond quelque chose sur ce point.

C’est une autre manière de penser la géométrie.

Trois variantes à ne pas confondre

SDF (Signed Distance Function) : la fonction renvoie la distance signée à la surface. Valeur négative à l’intérieur, positive à l’extérieur, nulle sur la surface.
Champ d’occupation : la fonction indique si un point appartient à l’objet, ou avec quelle probabilité il est occupé.
Champ de radiance : la fonction donne non seulement une densité, mais aussi une couleur dépendante de la direction de vue. C’est le terrain de NeRF.

L’intérêt majeur de ces représentations est la continuité. On ne travaille pas sur une grille grossière, mais sur une fonction qui peut être interrogée à une infinité de positions. Cela favorise des surfaces lisses, des détails sub-voxel et une géométrie moins “escalier”.

Pourquoi c’est puissant

Prenons une surface courbe, comme une tasse. Avec des voxels grossiers, le bord a vite un aspect crénelé. Avec une fonction implicite, la surface peut être décrite de manière continue. On gagne en finesse sans avoir besoin d’exploser la résolution partout.

Pourquoi c’est coûteux

Le revers est simple : pour voir ou extraire quelque chose, il faut évaluer la fonction en beaucoup de points.

Pour rendre une image, on échantillonne le long des rayons.
Pour extraire un mesh, on cherche où la fonction coupe un niveau donné, souvent la surface pour une SDF.
Pour optimiser, on fait cela encore et encore.

Le piège ici est de croire que “compact en mémoire de paramètres” veut dire “rapide”. C’est souvent faux. Une représentation implicite peut être élégante et compacte, tout en étant lourde à interroger.

C’est précisément ce qui prépare NeRF : une représentation extraordinairement expressive, mais dont le coût de rendu dépend d’un grand nombre d’évaluations.

Maillages, UV, matériaux et contraintes de production

Dans les laboratoires, beaucoup de représentations sont séduisantes. Dans un studio, la question devient plus sèche : est-ce qu’un artiste peut travailler avec ?

Le mesh reste l’objet central de nombreux pipelines DCC parce qu’il est directement compatible avec Blender, Maya, les moteurs temps réel, les outils de rig, de skinning, d’animation, de baking et de texturing.

Le vocabulaire minimum

Un maillage est composé de :

sommets (vertices) ;
arêtes (edges) ;
faces — souvent triangles ou quads ;
topologie — la manière dont ces éléments sont connectés.

À cela s’ajoutent :

UV : projection 2D de la surface pour appliquer des textures ;
matériaux : définition de l’apparence de surface ;
normal maps : textures qui simulent des détails fins sans alourdir la géométrie ;
retopologie : reconstruction d’une topologie plus propre et exploitable.

Pourquoi un bon rendu n’est pas encore un bon asset

Un modèle génératif peut produire une surface visuellement impressionnante, mais inutilisable pour un artiste si :

la topologie est chaotique ;
les faces sont trop irrégulières ;
les normales sont instables ;
les UV sont absents ou inutilisables ;
le nombre de polygones est incohérent avec la cible ;
le mesh n’est pas proprement fermé ou contient du bruit.

Un artiste dans Maya ou Blender ne juge pas seulement “est-ce beau ?”. Il juge aussi :

est-ce sélectionnable ?
est-ce éditable ?
est-ce animable ?
est-ce exportable ?
est-ce réparable sans tout refaire ?

Le vrai pont entre théorie et production est là. Beaucoup de systèmes génératifs 3D sont excellents en démonstration mais encore coûteux en post-traitement pour livrer un asset propre.

Pour dialoguer avec les artistes, il faut donc parler leur langue : densité de polygones, edge flow, seams UV, baking, LOD, maps de normales, matériaux PBR, nettoyage de topologie. Sans cela, on ne parle pas vraiment de production ; on parle seulement de recherche.

Les grandes familles de modèles génératifs 3D

Une erreur fréquente consiste à mémoriser des papiers isolés. Ce n’est pas la bonne carte mentale. Il faut raisonner en familles de modèles, chacune ayant une logique, des points forts et des limites.

Taxonomie opératoire

VAE 3D : apprendre à compresser puis reconstruire des formes ou des scènes.
Diffusion 3D : apprendre à générer par débruitage progressif.
DiT sur latents 3D : faire la diffusion dans un espace latent structuré avec une architecture de transformeur.
Approches image-to-3D : partir d’images comme condition ou comme entrée principale.
Générateurs de mesh : produire ou extraire des surfaces directement exploitables.
Approches hybrides : combiner plusieurs représentations et plusieurs objectifs.

La bonne question n’est pas seulement “comment ça marche ?”, mais “dans quel régime ce choix devient-il le plus intelligent ?”

Si la 3D brute est trop coûteuse, on passe par un VAE 3D.
Si la diversité et la qualité d’échantillonnage importent, la diffusion devient attractive.
Si l’on veut conditionner sur image, texte ou vues partielles avec une capacité de modélisation élevée, les DiT latents prennent souvent l’avantage.
Si la sortie doit finir chez un artiste, il faut penser très tôt au mesh et à la conversion vers un format exploitable.
Si le problème principal est le rendu de nouvelles vues d’une scène, NeRF et Gaussian Splatting dominent souvent la discussion .

Une idée centrale

En 3D, les approches les plus solides sont souvent composées. On encode d’abord, on génère ensuite, on décode enfin, puis on nettoie pour la production. Le système complet est presque toujours plus important que le bloc “modèle” pris isolément.

VAE 3D : compresser la géométrie avant de générer

Un VAE (autoencodeur variationnel) 3D sert à apprendre une représentation latente compacte d’objets ou de scènes 3D. L’idée est simple : au lieu de générer directement une structure 3D lourde, on apprend d’abord à la résumer dans un espace plus petit.

Les trois pièces du mécanisme

Encodeur : transforme l’entrée 3D en variables latentes.
Décodeur : reconstruit la sortie 3D à partir du latent.
Régularisation probabiliste : pousse les latents à suivre une distribution simple, souvent proche d’une gaussienne.

En pratique, l’encodeur ne produit pas juste un point latent, mais souvent une moyenne et une variance. On échantillonne ensuite un latent, puis le décodeur reconstruit l’objet.

Les deux forces qui s’opposent

L’apprentissage combine au moins deux objectifs :

Perte de reconstruction : reconstruire fidèlement la géométrie, la densité, l’occupation ou les attributs.
Terme KL : garder un espace latent régulier, continu, échantillonnable.

Le compromis est fondamental :

trop de poids sur la reconstruction, et le latent devient peu régulier ;
trop de poids sur la régularisation, et la reconstruction devient floue ou appauvrie.

On peut l’écrire de manière classique :

Le terme règle l’équilibre entre fidélité et régularité.

Pourquoi c’est décisif en 3D

En 3D, ce mécanisme est encore plus précieux qu’en 2D, parce que la donnée brute coûte cher. Un bon VAE 3D apprend :

à compresser la structure géométrique ;
à conserver les zones importantes ;
à fournir un espace latent où un modèle génératif plus puissant peut travailler efficacement.

Des travaux récents sur les latents 3D explicites et clairsemés montrent précisément cette direction : au lieu d’utiliser un latent flou ou mal structuré, on conçoit un espace latent compact mais aligné avec la géométrie 3D .

Le bon pont mental vers la suite

Le VAE 3D n’est souvent pas le générateur final. Il prépare le terrain. Il construit un espace où la génération devient faisable. Ensuite, on place dessus un modèle plus puissant, souvent une diffusion ou un DiT.

Autrement dit :

Le VAE 3D rend la génération possible à coût raisonnable ; le générateur latent rend cette génération expressive.

Diffusion 3D et DiT sur latents 3D

La diffusion apprend à inverser un processus de corruption par le bruit. On prend une donnée propre, on lui ajoute progressivement du bruit, puis on entraîne un modèle à remonter le chemin inverse.

L’intuition la plus simple est celle d’une statue recouverte de brouillard couche après couche. L’entraînement apprend à retirer ce brouillard sans perdre la forme.

La mécanique minimale

Processus avant : on ajoute du bruit au latent ou à la représentation 3D.
Modèle appris : il prédit le bruit à enlever, ou une quantité équivalente comme le score.
Scheduler : il fixe comment on avance d’un niveau de bruit au suivant.
Conditionnement : image, texte, vues partielles, masques, attributs.

Dans le domaine 3D, faire cela directement dans un espace haute résolution est souvent prohibitif. C’est pourquoi la combinaison VAE 3D + diffusion latente est devenue si importante .

Pourquoi les DiT apparaissent

Un DiT (Diffusion Transformer) remplace en partie le rôle classique du U-Net par une architecture de transformeur adaptée à la diffusion. L’intérêt est fort quand on travaille sur des tokens latents structurés et quand on veut profiter de la flexibilité du conditionnement par attention.

Le point à comprendre est le suivant : si le latent 3D peut être découpé en unités structurées — patches, blocs clairsemés, tokens spatiaux — alors un transformeur peut modéliser leurs relations de manière très puissante.

Pourquoi les latents rendent la diffusion 3D praticable

La diffusion brute en 3D souffre de trois problèmes :

beaucoup trop de dimensions ;
beaucoup trop de mémoire ;
beaucoup trop de pas de calcul.

Les latents 3D règlent une partie du problème :

ils réduisent la dimension ;
ils concentrent l’information utile ;
ils permettent un entraînement plus stable et plus scalable.

C’est exactement la logique des systèmes image-vers-3D latents récents, ainsi que des hiérarchies sparse-voxel qui apprennent à générer des structures compactes avant de décoder la sortie finale .

Le pipeline mental à retenir

D’abord l’intuition, puis la structure :

objet 3D → encodeur VAE 3D → latent structuré
latent structuré → ajout de bruit progressif
latent bruité + conditionnement → DiT
DiT + scheduler → latent débruité
latent débruité → décodeur 3D → sortie 3D

Le point le plus subtil est ici : le modèle n’apprend pas “la 3D” d’un seul bloc. Il apprend comment nettoyer progressivement une représentation 3D compressée, ce qui change complètement l’échelle du problème.

Entraînement à l’échelle : ce que cela implique vraiment

Quand on entraîne ce type de pipeline à grande échelle, les sujets système deviennent centraux :

distribution des données 3D : objets, scènes, vues, métadonnées, qualité des scans ;
entraînement distribué : parallélisme de données, parfois de modèle, synchronisation des gradients ;
budget mémoire : les latents structurés sont choisis aussi pour cela ;
I/O : les pipelines 3D sont lourds en chargement et prétraitement ;
reproductibilité : versionnage des datasets, seeds, configs, checkpoints.

Le piège le plus courant est de croire que “scaler” signifie seulement ajouter des GPU. En pratique, les goulets sont souvent ailleurs : structure des données, sparsit é, préparation des batches, stabilité des décodeurs, coûts de rendu différentiable.

Inférence : quantization, distillation, serving

Une fois le modèle entraîné, un autre monde commence. Il faut réduire la latence, le coût unitaire et la variabilité.

Quantization : réduire la précision numérique pour gagner en mémoire et parfois en vitesse.
Distillation : entraîner un modèle plus petit ou moins itératif à imiter un plus gros.
Serving : gérer batching, files d’attente, préchauffage, autoscaling, observabilité.

Dans les modèles de diffusion, le coût d’inférence dépend fortement du nombre d’étapes. Toute technique qui réduit ce nombre sans ruiner la qualité a un impact direct sur le produit.

Image-to-3D : reconstruire ou halluciner une scène cohérente

Un système image-to-3D reçoit une ou plusieurs images et doit produire une structure 3D plausible. Le mot important est plausible. À partir d’une seule image, la 3D réelle n’est pas entièrement observable.

Si l’on voit la façade d’une maison, on ne voit pas immédiatement l’arrière. Le modèle doit donc faire deux choses à la fois :

reconstruire ce que l’image contraint clairement ;
halluciner ce qui reste caché, mais d’une manière cohérente.

Monoculaire vs multi-vues

Monoculaire : une seule image. Problème fortement ambigu.
Multi-vues : plusieurs vues d’un même objet ou d’une même scène. Les contraintes géométriques sont plus fortes.
Scans partiels : autre variante, où des observations incomplètes guident la complétion.

Avec une seule image, la profondeur, l’épaisseur, la symétrie, l’arrière-plan et les parties cachées restent incertains. C’est pourquoi des approches génératives sont particulièrement utiles : elles apprennent une distribution de solutions plausibles, pas une unique vérité certaine. Des travaux récents sur les gaussiennes génératives à partir d’une image insistent justement sur cette multiplicité d’hypothèses en situation ambiguë .

Les grandes familles d’approches image-to-3D

Régression directe vers une représentation 3D.
Optimisation par rendu différentiable : on ajuste une représentation 3D pour que ses rendus correspondent à l’image.
Modèles génératifs conditionnés : diffusion, flux ou transformeurs conditionnés par image.
Foundation models : systèmes préentraînés à grande échelle sur des couples vision-3D ou vision-géométrie.

La difficulté centrale : la cohérence multi-vues

Le test sérieux n’est pas “la vue d’entrée est-elle bien reconstruite ?” Le test sérieux est : si je tourne autour de l’objet, est-ce que les autres vues restent crédibles ?

Le piège classique est le suivant : un modèle peut tricher sur la vue observée et produire une géométrie fausse ailleurs. D’où l’importance de :

la cohérence de silhouettes ;
la cohérence de profondeur ;
la stabilité des textures ;
la plausibilité des parties occluses.

Des approches récentes cherchent à combiner signaux 2D et 3D pour améliorer ce compromis, notamment dans l’image-vers-3D réaliste .

Génération de mesh : de la représentation continue au maillage exploitable

Beaucoup de modèles ne produisent pas directement un mesh final. Ils produisent un champ implicite, un volume, un latent, une scène de gaussiennes, ou un rendu très convaincant. Or la production demande souvent autre chose : un asset éditable.

Les étapes qui mènent au mesh

Extraction de surface : convertir une représentation continue ou volumique en surface explicite.
Nettoyage : supprimer artefacts, bruit, composantes parasites, trous.
Retopologie : réorganiser la surface pour obtenir une topologie exploitable.
UV : déplier la surface pour le texturing.
Préparation matériaux : textures, maps, conventions studio.
Validation DCC : test dans Blender ou Maya.

Le vrai critère de succès

Un rendu peut être photoréaliste et pourtant ne fournir aucun objet réutilisable. En production, un mesh réussi doit être :

propre ;
manifold ou au moins réparable ;
raisonnable en densité ;
cohérent en normales ;
dépliable en UV ;
éditable ;
exportable.

Le piège ici est de confondre fidélité de rendu et utilité de l’asset. Une représentation continue peut gagner le concours visuel, puis perdre face au premier besoin de rigging, de découpe UV ou de correction locale.

Si l’objectif final est la production, la chaîne complète doit être pensée dès le départ : représentation, génération, extraction, nettoyage, validation.

NeRF et Gaussian Splatting : rendu neural et représentation de scène

Cette famille s’intéresse surtout aux scènes et à la synthèse de nouvelles vues. La question typique est : à partir d’un ensemble d’images d’une scène, peut-on apprendre une représentation permettant de la revoir depuis de nouveaux points de vue ?

Deux grandes réponses dominent :

NeRF : une représentation volumique continue ;
Gaussian Splatting : un ensemble explicite de gaussiennes 3D rendues rapidement.

Les deux excellent souvent sur la fidélité visuelle, mais ils ne font pas le même pari.

Le pari de NeRF

NeRF mise sur une fonction continue apprise. Cette continuité permet des vues nouvelles de grande qualité, mais le rendu exige d’évaluer le champ sur de nombreux échantillons le long des rayons. C’est élégant, précis, mais coûteux.

Le pari de Gaussian Splatting

Gaussian Splatting remplace en partie cette lourdeur par une représentation explicite : des primitives 3D anisotropes avec couleur, opacité, taille et orientation. On les projette dans l’image et on les accumule efficacement. Cela améliore fortement l’interactivité, ce qui explique l’attention considérable portée à cette famille .

Intuition simple

NeRF ressemble à une matière continue qu’on sonde dans le volume.
Gaussian Splatting ressemble à une scène reconstruite avec des “taches” 3D intelligentes placées explicitement.

Le piège serait d’en faire une opposition simpliste. Les deux familles répondent à des contraintes différentes. L’une favorise la continuité volumique et la formulation différentiable classique ; l’autre favorise l’explicitation et le rendu rapide.

NeRF : champs de radiance neuronaux et rendu volumique

Un NeRF modélise une scène par une fonction continue qui prend en entrée une position 3D et une direction de vue , puis renvoie typiquement :

une densité ;
une couleur .

La densité dit “combien de matière” se trouve au point considéré. La couleur dit “à quoi ce point ressemble depuis cette direction”.

L’intuition visuelle

Imagine un rayon tiré depuis la caméra dans la scène. Ce rayon traverse potentiellement plusieurs régions semi-transparentes. À chaque petit segment, le modèle dit :

y a-t-il de la matière ici ?
si oui, quelle couleur contribue-t-elle à l’image ?

L’image finale d’un pixel résulte alors d’une intégration volumique le long du rayon.

La mécanique essentielle

Pour chaque pixel :

on échantillonne plusieurs points le long du rayon ;
on interroge le réseau sur chacun de ces points ;
on convertit les densités en poids de contribution ;
on accumule les couleurs pondérées.

Sous forme compacte :

où représente la transmittance, c’est-à-dire la quantité de lumière qui survit jusqu’au point considéré sans avoir déjà été absorbée.

L’idée importante n’est pas de retenir la formule par cœur, mais de comprendre ceci :

Un NeRF ne dessine pas directement une surface. Il apprend comment la lumière s’accumule en traversant un volume continu.

Pourquoi c’est puissant

très bonne synthèse de nouvelles vues ;
continuité spatiale ;
détails visuels fins ;
représentation élégante de scènes complexes.

Pourquoi c’est coûteux

Le coût vient du nombre d’évaluations. Pour chaque pixel, il faut beaucoup d’échantillons ; pour chaque image, beaucoup de pixels ; pour chaque entraînement, énormément d’itérations. C’est pourquoi les NeRF classiques sont rarement la solution la plus simple pour du temps réel strict, même s’ils ont lancé une révolution conceptuelle dans la représentation de scènes.

Ce qu’il faut vraiment comprendre

Le piège est de croire qu’un NeRF “reconstruit un mesh caché”. Pas exactement. Il apprend plutôt un champ volumique rendu differentiablement. On peut parfois en extraire une surface approximative, mais ce n’est pas sa nature première.

C’est cette différence qui le distingue profondément des maillages classiques, et qui explique à la fois sa puissance visuelle et ses limites de production directe.