Guides spécifiques à la plate-forme
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
L'API Scene Semantics permet aux développeurs de comprendre la scène qui entoure l'utilisateur, ce qui est nécessaire pour de nombreuses expériences de RA de haute qualité. Basée sur un modèle de ML, l'API Scene Semantics fournit des informations sémantiques en temps réel, qui complètent les informations géométriques existantes dans ARCore.
À partir d'une image d'une scène extérieure, l'API renvoie un libellé pour chaque pixel à partir d'un ensemble de classes sémantiques utiles, telles que le ciel, un bâtiment, un arbre, une route, un trottoir, un véhicule, une personne, etc. En plus des libellés de pixel, l'API Scene Semantics propose également des valeurs de confiance pour chaque libellé de pixel et un moyen simple d'interroger la prévalence d'un libellé donné dans une scène extérieure.
De gauche à droite, exemples d'image d'entrée, d'image sémantique des étiquettes de pixel et d'image de confiance correspondante:
L'API Scene Semantics permet aux développeurs d'identifier des composants de scène spécifiques, tels que les routes et les trottoirs pour aider un utilisateur à se repérer dans une ville inconnue, les personnes et les véhicules pour afficher des occlusions sur des objets dynamiques, le ciel pour créer un coucher de soleil à n'importe quel moment de la journée et les bâtiments pour modifier leur apparence et ancrer des objets virtuels.
Libellés sémantiques et qualité
L'API Scene Semantics fournit plusieurs libellés, chacun avec une qualité ou une fiabilité correspondante. En général, le modèle de ML est plus à même de prédire les classes d'objets/surfaces plus grands et plus courants que les classes d'objets/surfaces plus petits ou plus rares. Les classes peuvent être regroupées dans les niveaux de qualité suivants, classés de la meilleure à la moins bonne:
| Niveaux de qualité des libellés sémantiques | |
|---|---|
| Composants principaux de la scène |
|
| Détails de la scène majeure |
|
| Détails mineurs de la scène |
|
Compatibilité avec les appareils
L'API Scene Semantics partage la même liste d'appareils compatibles que l'API Depth. Pour obtenir la liste à jour des appareils compatibles avec les deux API, consultez la page Appareils compatibles avec ARCore.
Cas d'utilisation compatibles
L'API Scene Semantics est conçue pour les scénarios suivants:
Scènes extérieures: compatible uniquement avec les scènes extérieures et non destiné aux cas d'utilisation en intérieur.
Orientation portrait: ne doit être utilisée que dans le mode d'orientation par défaut de l'appareil (mode portrait). La qualité des libellés sémantiques n'est pas garantie en mode paysage.