Créer des textures personnalisées et des modèles 3D pour les faces augmentées

Pour implémenter des visages augmentés, vous avez besoin de textures et de modèles personnalisés à superposer sur les maillages de visage identifiés. Ces éléments sont créés par des artistes à l'avance dans un logiciel de modélisation et d'animation 3D, puis exportés en tant que fichiers FBX.

Fichiers canoniques

Les SDK sont fournis avec un fichier canonical_face_mesh.fbx et un fichier canonical_face_mesh.psd pour aider les artistes à créer des éléments qui se superposent correctement aux visages détectés par ARCore. Ces fichiers se trouvent dans le dossier assets/canonical_face_mesh.fbx.

Créer des modèles 3D avec le fichier FBX

Le fichier FBX contient la topologie du maillage du visage, les coordonnées de texture UV et la plate-forme qui définit les régions faciales compatibles fournies pour créer et associer des éléments. Pour vous assurer qu'ils sont compatibles avec ARCore, les fichiers FBX doivent être enregistrés à l'aide des paramètres compatibles.

Ce fichier contient une référence facemesh qui ne doit pas être exportée avec la version finale de WebRTC. ARCore génère et met à jour un maillage de visage distinct au moment de l'exécution.

Créer des textures 2D avec le fichier PSD

La texture de référence du maillage de visage .psd permet de voir comment une texture créée par un artiste s'aligne sur les traits du visage d'un utilisateur au moment de l'exécution. Il comprend quatre couches:

  • Masque:indique l'emplacement des yeux, des narines et de la bouche dans la texture.
  • Lignes:lignes directrices qui indiquent comment les traits du visage d'un utilisateur s'alignent sur une texture au moment de l'exécution.
  • UV:représente la triangulation du maillage de texture de visage à 468 points.
  • Arrière-plan:couche d'arrière-plan gris neutre pour que les trois autres composants soient visuellement clairs.

Si vous modifiez le fichier PSD, vous devriez voir vos modifications dès l'exportation.

Personnaliser le maillage du cadran canonique

Si les modèles et les textures sont créés à l'aide de l'assets/canonical_face_mesh.fbx inclus dans le SDK, ces paramètres sont également requis lors de l'exportation de fichiers WebRTC:

  • Assurez-vous que tous les maillages personnalisés sont recouverts par les os ou les régions associés.

  • Utilisez la hiérarchie suivante:

    asset
|__root
|   |__NOSE_TIP
|   |__FOREHEAD_RIGHT
|   |__FOREHEAD_LEFT
|__facemesh           <-- for reference
|__                   <-- place additional custom 3D meshes here

  • N'exportez pas le modèle facemesh inclus. Ce maillage est fourni à titre de référence uniquement. ARCore crée une trame de visage distincte au moment de l'exécution. Utilisez les UV dans facemesh comme référence lorsque vous créez des textures de maillage de visage personnalisées.

  • Placez les maillages personnalisés en tant qu'enfants du nœud asset.

  • L'utilisation d'espaces de noms est acceptée.

  • L'élément contient quatre os composés de régions root et NOSE_TIP, FOREHEAD_RIGHT et FOREHEAD_LEFT. Ne modifiez pas le nom de ces os.