Tu vois, si tu t'intéresses à la 3D à partir de photos, tu vas vite te rendre compte qu'il y a des termes qui ont l'air de dire la même chose, mais en fait, c'est pas vraiment ça. Tu sais ce que c'est, la photogrammétrie ? Gaussian Splatting, ça vous dit quelque chose ? NeRF ? Et vous savez où se trouve DFX SplatCore ? C'est normal de se sentir un peu perdu, les mots viennent de deux mondes différents qui se sont rejoints il n'y a pas si longtemps. Alors, ce chapitre, il les met en ordre, il raconte la petite et folle histoire du nouveau venu, et puis il se termine par la question qui compte vraiment ici : qu'est-ce que ça veut dire pour tes photos ?
Si tu veux, je peux te raconter la suite de l'histoire de la partie 1. On appelle ça la photogrammétrie. Voilà comment ça se passe en gros : on prend plein de photos, on recalcule où sont les caméras (le relèvement), puis on trouve avec des millions de points image où elles sont dans l'espace. Ça donne un nuage de points, sur lequel on met un maillage (le « mesh »), et ensuite on superpose les photos pour avoir l'image de surface.
Le résultat est métrique, c'est top ! C'est pour ça que la photogrammétrie, c'est l'outil qu'il te faut quand il s'agit de chiffres : arpentage, bâtiment, cartographie, conservation du patrimoine. Voilà, ses points faibles sont du côté opposé : elle a besoin de surfaces structurées (les objets lisses, brillants ou transparents, ça marche pas), les détails fins comme les cheveux ou les grilles se désagrègent, et le photoréalisme a une limite : la texture est collée sur la géométrie. Si tu regardes de près, sous une lumière douce, tu peux vraiment le voir.
En 2020, y a un groupe de recherche qui a présenté un procédé qui abordait la tâche tout autrement : NeRF (« Neural Radiance Fields »). Alors, tu vois, y a pas de nuage de points, pas de maillage. En fait, on entraîne un réseau de neurones à répondre à une seule question : « Je me tiens ici et je regarde là — que vois-je ? » Tu vois, pour chaque image qu'on voit, cette question est posée des millions de fois le long des rayons visuels. Et c'est comme ça que la vue se développe.
Alors, les résultats, c'était vraiment fou : des vues libres super réalistes, des matériaux souples, des ambiances lumineuses. C'est là que la texture plaquée de la photogrammétrie montre ses limites. Mais le prix, c'était pas donné : il fallait compter plusieurs heures, voire plusieurs jours d'entraînement, et même une fois le modèle fini, il fallait encore attendre des secondes ou des minutes par image. Il est vraiment super beau, mais malheureusement, il ne peut pas être utilisé pour le travail au quotidien.
Et puis, pendant deux ans, on a fait une course de vitesse, et au milieu, on a fait une découverte qui a ouvert la voie à tout le reste. Tu sais, y a des procédés comme Plenoxels (2022) qui ont fait tout foirer au réseau de neurones, mais ils ont quand même réussi à avoir presque la même qualité en utilisant juste une grille, et en beaucoup moins de temps. Tu sais, l'Instant-NGP de 2022, il a carrément fait passer l'entraînement de plusieurs jours à quelques secondes. Voilà ce qu'on peut apprendre : la magie, elle est pas dans les neurones. Tu vois, l'idée, c'est de travailler sur une scène en détail pour que toutes les photos soient super claires. Si ça marche aussi sans réseau, alors on peut se permettre une représentation simple, rapide et facilement modifiable.
En 2023, un projet français a réuni deux traditions qui avaient cohabité pendant vingt ans. L'une de ces techniques vient de l'infographie. Déjà en 2001, on savait représenter proprement des surfaces à partir de taches de couleur elliptiques et douces, qu'on appelle des « splats ». L'autre, c'est la jeune idée du champ de radiance qui vient de NeRF. Alors, le résultat, c'est 3D Gaussian Splatting. Et devinez quoi ? Il a gagné la course dans les deux sens : la qualité NeRF avec un rendu en temps réel.
Et c'est vraiment une idée super concrète, ça fait plaisir. Une scène, c'est comme un tableau vivant avec des millions de petites taches de couleur qui dansent dans l'espace. Chaque tache a son propre endroit et sa forme (elle peut être parfaitement ronde ou finement étirée comme une aiguille – comme ça, elle épouse les arêtes et les surfaces), sa transparence et sa couleur qui peut légèrement changer selon la direction du regard. Tu vois, l'entraînement, c'est un peu comme une sculpture en accéléré. On dessine les tâches, on les compare aux vraies photos, on les déplace, on les divise, on les supprime, on les recolore... On fait tout ça des dizaines de milliers de fois, jusqu'à ce que la scène rendue explique les photos.
Et là, on revient à la partie 1, avec une phrase qui explique tout ce qu'il y a à savoir sur DFX SplatCore : au début, l'entraînement se base sur les points et les positions de caméra de l'ancien monde de la mesure. Alors, tu vois, la machine photogrammétrique classique, elle calcule d'abord le squelette, tu sais, là où les caméras se tenaient, où sont les premiers points. Et ensuite, y a l'entraînement du splatting qui pose par-dessus la peau photoréaliste. Et la tradition de mesure bimillénaire, elle a pas été remplacée, hein ? Tu vois, elle est vraiment devenue le fondement.
La confluence de 2023, c'est vraiment quelque chose ! À droite, tu peux voir les branches familiales qui sont nées depuis — tu pourras voir dans la section 2.6 laquelle travaille où dans DFX SplatCore.
Image IA
Après 2023, la recherche a explosé, et de ce procédé unique est née une famille. Chaque branche, elle règle un problème précis du modèle d'origine. Par exemple, y a des méthodes pour utiliser moins d'images (alors que le modèle en demandait beaucoup), pour générer à partir d'une seule image, pour des maillages et des exports adaptés aux logiciels 3D classiques, pour être plus solide quand les images sont floues ou difficiles à prendre, pour les surfaces brillantes et pour enlever la lumière des prises de vue. Les noms de ces techniques, comme InstantSplat, BAD-GS, SpikeGS, FlashGS et bien d'autres, c'est pas la peine de les retenir. Mais c'est quand même bon à savoir qu'ils existent. Car :
DFX SplatCore, c'est pas l'un de ces trucs. C'est un orchestre où des membres de la famille jouent ensemble, chacun là où il est le meilleur, et vous n'avez pas à vous soucier de savoir qui fait quoi :
| Branche familiale | Dans DFX SplatCore |
|---|---|
| Génération à partir d'une seule image | la voie TripoSplat lors de l'import d'une image unique |
| Reconstruction à partir de peu d'images (2–12) | la voie MapAnything pour les petites séries |
| Voie classique à nombreuses images | calcul des caméras COLMAP + entraînement du splatting |
| Géométrie, maillage & export | entraînement 2D Splatting, génération de maillage, export GLB |
| Robustesse face aux défauts de prise de vue | les cinq niveaux de tolérance de Motion Guard portent exactement les noms de ces procédés |
| Retirer la lumière | le traitement PBR avec De-Lighting dans le module Orbit |
| Surfaces brillantes | en cours — nommé ouvertement dans la partie 7 |
Y a deux trucs dans c'te tableau qui sont vraiment stylés. Alors, déjà, Motion Guard, c'est pas n'importe quoi. Ils ont un tableau des tolérances qui te dit si ton image est bonne ou pas. Et ce tableau, il est basé sur des chiffres réels, tu vois. Ils ont des procédés qui mesurent vraiment les erreurs. Ensuite, la dernière ligne, elle est honnête, mais c'est fait exprès. Alors, voilà, pour ce qui n'est pas encore réglé, c'est écrit comme ça ici, et vous ne verrez plus rien de plus clair que dans la partie 7.
Tu vois, c'est un peu comme un mélange de deux choses : une structure pour bien s'organiser, et ensuite, la liberté de laisser libre cours à son inspiration. C'est un truc que les anciens guides négligent souvent, mais c'est vraiment important pour la prise de vue.
Voilà ce qu'il reste : tout ce dont le squelette a besoin. Parallaxe, recouvrement, netteté — tu vois, le calcul des caméras, c'est et ça reste de la photogrammétrie, et ça pose les mêmes exigences que de tout temps.
Bon, tu sais, y a qu'une seule chose qui s'est adoucie, c'est les exigences sur les surfaces. Tu vois, avec le splatting, c'est comme si la couleur d'un point devenait un jeu de miroirs – plus brillant, plus soyeux, plus fin. C'est vraiment top pour les matériaux souples et les structures fines.
Ce qui a changé, c'est que c'est devenu plus dur de rester cohérent. L'entraînement, il prend vraiment au sérieux chaque pixel de tes photos, et aussi la lumière. Alors, tu sais, y a comme une ombre qui se balade pendant la série, une expo qui saute. C'est ouf, mais ce qui se noyait avant dans la texture, maintenant, c'est carrément une partie du modèle.
Du coup, on se demande : qu'est-ce qu'il faut faire pour que vos photos soient aussi belles ? C'est la partie 3 — le chapitre le plus court, mais attention, l'effet est le plus grand.
