Scene Semantics API ile kullanıcı ortamını anlama

Platforma özel kılavuzlar

Android (Kotlin/Java)

Android NDK (C)

iOS

Unity (AR Foundation)

Sahne anlamları

Scene Semantics API, geliştiricilerin kullanıcıyı çevreleyen sahneyi anlamasını sağlar. Bu durum, birçok yüksek kaliteli AR deneyimi için gereklidir. Bir yapay zeka modeliyle oluşturulan Scene Semantics API, ARCore'daki mevcut geometrik bilgileri tamamlayan gerçek zamanlı anlamsal bilgiler sağlar.

API, açık hava sahnesinin bir resmi verildiğinde gökyüzü, bina, ağaç, yol, kaldırım, araç, kişi ve daha fazlası gibi yararlı bir dizi anlamsal sınıfta her piksel için bir etiket döndürür. Scene Semantics API, piksel etiketlerine ek olarak her piksel etiketi için güven değerleri ve belirli bir etiketin dış mekan sahnesindeki yaygınlığını sorgulamak için kolay bir yol sunar.

Soldan sağa, bir giriş resmi örnekleri, piksel etiketlerinin anlamsal resmi ve ilgili güven resmi:

Anlamsal resim örneği

Geliştiriciler, Scene Semantics API ile kullanıcılara bilmedikleri bir şehirde rehberlik etmek için yollar ve kaldırımlar, dinamik nesnelerde oluşumlar oluşturmak için insanlar ve araçlar, günün herhangi bir saatinde gün batımı oluşturmak için gökyüzü ve binaların görünümlerini düzenlediği ve sanal nesneleri sabitlediği gibi belirli sahne bileşenlerini tanımlayabilirler.

Anlamsal etiketler ve kalite

Scene Semantics API, her biri karşılık gelen bir kalite veya güvenilirliğe sahip birden fazla etiket sağlar. Genel olarak, ML modeli daha büyük ve daha yaygın nesne/yüzey sınıflarını daha küçük veya daha nadir nesne/yüzey sınıflarından daha iyi tahmin edebilir. Sınıflar, yüksekten düşüğe doğru sıralanmış aşağıdaki kalite katmanları halinde gruplandırılabilir:

Anlamsal etiket kalite katmanları
Ana sahne bileşenleri
  • gökyüzü
  • derleniyor
  • ağaç
  • yol
  • araç
Ana sahne ayrıntıları
  • kaldırım
  • arazi
  • yapı
  • su
Küçük sahne ayrıntıları
  • nesne
  • kişi

Cihaz uyumluluğu

Scene Semantics API, Depth API ile aynı desteklenen cihaz listesini paylaşır. Her iki API'yi de destekleyen cihazların güncel listesi için lütfen ARCore tarafından desteklenen cihazlar sayfasına bakın.

Desteklenen kullanım alanları

Scene Semantics API, aşağıdaki senaryolarda kullanılmak üzere tasarlanmıştır:

  1. Açık hava sahneleri: Yalnızca açık hava sahnelerini destekler ve kapalı mekan kullanım alanları için tasarlanmamıştır.

  2. Dikey yön: Yalnızca cihazın varsayılan yön modunda (ör. dikey) kullanılmalıdır. Yatay modda anlamsal etiketlerin kalitesi garanti edilmez.