فهم بيئة المستخدم من خلال واجهة برمجة تطبيقات Scene Semantics

الأدلة الخاصة بالمنصة

الدلالات المتعلّقة بالمشهد

تتيح واجهة برمجة التطبيقات Scene Semantics API للمطوّرين فهم المشهد المحيط بالمستخدم، وهو أمر مطلوب للعديد من تجارب الواقع المعزّز العالية الجودة. توفّر واجهة برمجة التطبيقات Scene Semantics API، المستندة إلى نموذج تعلُّم آلي، معلومات دلالية في الوقت الفعلي، ما يكمل المعلومات الهندسية الحالية في ARCore.

عند تقديم صورة لمشهد خارجي، تعرض واجهة برمجة التطبيقات تصنيفًا لكل بكسل ضمن مجموعة من الفئات الدلالية المفيدة، مثل السماء والمبنى والشجرة والطريق والرصيف والمركبة والشخص وغير ذلك. بالإضافة إلى تصنيفات البكسل، تقدّم واجهة برمجة التطبيقات Scene Semantics API أيضًا قيم الثقة لكل تصنيف بكسل وطريقة سهلة الاستخدام لاستعلام مدى انتشار تصنيف معيّن في مشهد خارجي.

من اليمين إلى اليسار، أمثلة على صورة إدخال والصورة الدلالية لتصنيفات البكسل وصورة الثقة المقابلة:

مثال على الصور الدلالية

باستخدام Scene Semantics API، يمكن للمطوّرين تحديد مكوّنات معيّنة للمشهد، مثل الطرق والأرصفة للمساعدة في توجيه المستخدِم خلال مدينة غير مألوفة، والأشخاص والمركبات لعرض حجب الأجسام الديناميكية، والسماء لإنشاء غروب في أي وقت من اليوم، والمباني لتعديل مظهرها وتثبيت الأجسام الافتراضية.

التصنيفات الدلالية والجودة

توفّر واجهة برمجة التطبيقات Scene Semantics API تصنيفات متعددة، ولكل منها جودة أو موثوقية مقابلة. بشكل عام، يكون نموذج الذكاء الاصطناعي (ML) قادرًا على توقّع فئات الأجسام أو الأسطح الأكبر والأكثر شيوعًا بشكل أفضل من فئات الأجسام أو الأسطح الأصغر أو الأكثر ندرة. يمكن تجميع الفئات في فئات الجودة التالية، مرتّبة من الأعلى إلى الأدنى:

مستويات جودة التصنيفات الدلالية
مكوّنات المشهد الرئيسية
  • السماء
  • مبنى
  • شجرة
  • طريق
  • مركَبة
تفاصيل المشهد الرئيسي
  • رصيف
  • تضاريس
  • البنية
  • ماء
تفاصيل المشهد الثانوية
  • عنصر
  • شخص

توافق الجهاز

تشارك واجهة برمجة التطبيقات Scene Semantics API قائمة الأجهزة المتوافقة نفسها مثل Depth API. يُرجى الرجوع إلى صفحة الأجهزة المتوافقة مع ARCore للحصول على قائمة محدّثة بالأجهزة المتوافقة مع كلتا أداتَي برمجة التطبيقات.

حالات الاستخدام المتوافقة

تم تصميم واجهة برمجة تطبيقات Scene Semantics للاستخدام في السيناريوهات التالية:

  1. المشاهد الخارجية: تتيح هذه الميزة استخدام المشاهد الخارجية فقط، وهي غير مخصّصة لحالات الاستخدام في الأماكن الداخلية.

  2. الوضع العمودي: يجب عدم استخدامه إلا في وضع الاتجاه التلقائي للجهاز (أي الوضع العمودي). لا نضمن جودة التصنيفات الدلالية في الوضع الأفقي.