प्लैटफ़ॉर्म के हिसाब से गाइड
Android (Kotlin/Java)
Android एनडीके (C)
iOS
Unity (AR Foundation)
सीन सिमैंटिक एपीआई की मदद से डेवलपर, उपयोगकर्ता के आस-पास के सीन को समझ पाते हैं. यह कई अच्छी क्वालिटी वाले एआर अनुभवों के लिए ज़रूरी होता है. सीन सेमेटिक्स एपीआई, एमएल मॉडल पर आधारित है. यह रीयल-टाइम में सेमेटिक जानकारी देता है. यह जानकारी, ARCore में मौजूद ज्यामितीय जानकारी के साथ काम करती है.
किसी आउटडोर सीन की इमेज देने पर, एपीआई हर पिक्सल के लिए एक लेबल दिखाता है. यह लेबल, काम की सेमैटिक क्लास के सेट में होता है. जैसे, आसमान, इमारत, पेड़, सड़क, फ़ुटपाथ, वाहन, व्यक्ति वगैरह. पिक्सल लेबल के अलावा, सीन सेमेटिक्स एपीआई हर पिक्सल लेबल के लिए कॉन्फ़िडेंस वैल्यू भी देता है. साथ ही, किसी लेबल के आउटडोर सीन में मौजूद होने की जानकारी पाने के लिए, आसानी से इस्तेमाल किया जा सकने वाला तरीका भी उपलब्ध कराता है.
बाईं से दाईं ओर, इनपुट इमेज, पिक्सल लेबल की सेमेंटिक इमेज, और उससे जुड़ी कॉन्फ़िडेंस इमेज के उदाहरण:
Scene Semantics API की मदद से, डेवलपर किसी सीन के खास कॉम्पोनेंट की पहचान कर सकते हैं. जैसे, किसी अनजान शहर में उपयोगकर्ता को रास्ता दिखाने के लिए सड़कें और फ़ुटपाथ, डाइनैमिक ऑब्जेक्ट पर ओक्लूज़न रेंडर करने के लिए लोग और वाहन, दिन के किसी भी समय सूर्यास्त बनाने के लिए आसमान, और इमारतों के रंग-रूप में बदलाव करने और वर्चुअल ऑब्जेक्ट को ऐंकर करने के लिए इमारतें.
सिमेंटिक लेबल और क्वालिटी
Scene Semantics API कई लेबल उपलब्ध कराता है. हर लेबल की क्वालिटी या भरोसेमंदता अलग-अलग होती है. आम तौर पर, एमएल मॉडल, छोटे या ज़्यादा दुर्लभ ऑब्जेक्ट/सर्फ़ेस की क्लास के मुकाबले, बड़े और ज़्यादा सामान्य ऑब्जेक्ट/सर्फ़ेस की क्लास का अनुमान बेहतर तरीके से लगा पाता है. क्लास को नीचे दिए गए क्वालिटी टीयर में रखा जा सकता है. इन टियर को ऊपर से नीचे की ओर रैंक किया जाता है:
| सिमैंटिक लेबल की क्वालिटी के टीयर | |
|---|---|
| मुख्य सीन के कॉम्पोनेंट |
|
| सीन की मुख्य जानकारी |
|
| छोटे सीन की जानकारी |
|
मेरे डिवाइस पर यह सुविधा काम नहीं करती
Scene Semantics API और Depth API, दोनों पर काम करने वाले डिवाइसों की सूची एक जैसी है. दोनों एपीआई के साथ काम करने वाले डिवाइसों की अप-टू-डेट सूची देखने के लिए, कृपया ARCore के साथ काम करने वाले डिवाइस पेज पर जाएं.
इस्तेमाल के उदाहरण
Scene Semantics API को इन स्थितियों में इस्तेमाल करने के लिए डिज़ाइन किया गया है:
आउटडोर सीन: यह सुविधा सिर्फ़ आउटडोर सीन के लिए उपलब्ध है. इसका इस्तेमाल इनडोर सीन के लिए नहीं किया जा सकता.
पोर्ट्रेट ओरिएंटेशन: इसका इस्तेमाल सिर्फ़ डिवाइस के डिफ़ॉल्ट ओरिएंटेशन मोड (यानी पोर्ट्रेट) में किया जाना चाहिए. लैंडस्केप मोड में, सेमेंटिक लेबल की क्वालिटी की कोई गारंटी नहीं है.