Comprendi l'ambiente degli utenti con l'API Scene Semantics

Guide specifiche per la piattaforma

L'API Scene Semantics consente agli sviluppatori di comprendere la scena che circonda l'utente, un elemento necessario per molte esperienze AR di alta qualità. Basata su un modello ML, l'API Scene Semantics fornisce informazioni semantiche in tempo reale, che completano le informazioni geometriche esistenti in ARCore.

Data un'immagine di una scena all'aperto, l'API restituisce un'etichetta per ogni pixel in un insieme di classi semantiche utili, come cielo, edificio, albero, strada, marciapiede, veicolo, persona e altro ancora. Oltre alle etichette dei pixel, l'API Scene Semantics offre anche valori di confidenza per ogni etichetta del pixel e un modo semplice per eseguire query sulla prevalenza di una determinata etichetta in una scena all'aperto.

Da sinistra a destra, esempi di un'immagine di input, l'immagine semantica delle etichette dei pixel e l'immagine di confidenza corrispondente:

Con l'API Scene Semantics, gli sviluppatori possono identificare componenti specifici della scena, come strade e marciapiedi per aiutare un utente a orientarsi in una città sconosciuta, persone e veicoli per eseguire il rendering di occlusioni su oggetti dinamici, cielo per creare un tramonto in qualsiasi momento della giornata ed edifici per modificarne l'aspetto e ancorare oggetti virtuali.

Etichette semantiche e qualità

L'API Scene Semantics fornisce più etichette, ciascuna con una qualità o affidabilità corrispondente. In genere, il modello ML è più in grado di prevedere classi di oggetti/superfici più grandi e comuni rispetto a classi di oggetti/superfici più piccoli o rari. Le classi possono essere raggruppate nei seguenti livelli di qualità, classificati dal più alto al più basso:

Livelli di qualità delle etichette semantiche
Componenti principali della scena	cielo in fase di creazione albero strada Veicolo
Dettagli principali della scena	marciapiedi rilievo struttura acqua
Dettagli secondari della scena	oggetto persona

Compatibilità dei dispositivi

L'API Scene Semantics condivide lo stesso elenco di dispositivi supportati dell'API Depth. Per un elenco aggiornato dei dispositivi che supportano entrambe le API, consulta la pagina Dispositivi supportati da ARCore.

Casi d'uso supportati

L'API Scene Semantics è progettata per essere utilizzata nei seguenti scenari:

1. Scene esterne: supporta solo le scene esterne e non è progettato per i casi d'uso interni.

2. Orientamento verticale: deve essere utilizzato solo nella modalità di orientamento predefinita del dispositivo (ovvero verticale). La qualità delle etichette semantiche non è garantita per la modalità Orizzontale.