คู่มือเฉพาะแพลตฟอร์ม
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
Scene Semantics API ช่วยให้นักพัฒนาแอปเข้าใจฉากรอบตัวผู้ใช้ ซึ่งจําเป็นสําหรับประสบการณ์ AR คุณภาพสูงหลายรายการ Scene Semantics API สร้างขึ้นจากโมเดล ML ซึ่งให้ข้อมูลเชิงความหมายแบบเรียลไทม์ ซึ่งช่วยเสริมข้อมูลเรขาคณิตที่มีอยู่ใน ARCore
เมื่อได้รับรูปภาพฉากกลางแจ้ง API จะแสดงผลป้ายกำกับสำหรับแต่ละพิกเซลในชุดคลาสเชิงอรรถศาสตร์ที่มีประโยชน์ เช่น ท้องฟ้า อาคาร ต้นไม้ ถนน ทางเท้า ยานพาหนะ บุคคล และอื่นๆ นอกจากป้ายกำกับพิกเซลแล้ว Scene Semantics API ยังมีค่าความเชื่อมั่นสำหรับป้ายกำกับพิกเซลแต่ละรายการ และวิธีค้นหาความถี่ของป้ายกำกับหนึ่งๆ ในฉากกลางแจ้งที่ใช้งานง่าย
จากซ้ายไปขวาคือตัวอย่างรูปภาพอินพุต รูปภาพเชิงอรรถของป้ายกำกับพิกเซล และรูปภาพความเชื่อมั่นที่เกี่ยวข้อง
เมื่อใช้ Scene Semantics API นักพัฒนาซอฟต์แวร์จะสามารถระบุองค์ประกอบของฉากบางอย่างได้ เช่น ถนนและทางเท้า เพื่อช่วยนำทางผู้ใช้ผ่านเมืองที่ไม่คุ้นเคย ผู้คนและยานพาหนะในการแสดงภาพการซ้อนทับบนวัตถุที่มีการเปลี่ยนแปลง ท้องฟ้าที่สร้างพระอาทิตย์ตกดินได้ตลอดเวลา และอาคารต่างๆ เพื่อปรับเปลี่ยนรูปลักษณ์และยึดวัตถุเสมือน
ป้ายกำกับความหมายและคุณภาพ
Scene Semantics API มีป้ายกำกับหลายรายการ โดยแต่ละรายการมีคุณภาพหรือความน่าเชื่อถือที่สอดคล้องกัน โดยทั่วไปแล้ว โมเดล ML จะคาดการณ์คลาสของวัตถุ/พื้นผิวขนาดใหญ่ที่พบบ่อยได้ดีกว่าคลาสของวัตถุ/พื้นผิวขนาดเล็กหรือที่พบได้น้อย ชั้นเรียนจะแบ่งออกเป็นระดับคุณภาพต่อไปนี้ โดยจัดอันดับจากสูงไปต่ำ
| ระดับคุณภาพของป้ายกํากับความหมาย | |
|---|---|
| คอมโพเนนต์ฉากหลัก |
|
| รายละเอียดฉากหลัก |
|
| รายละเอียดฉากเล็กน้อย |
|
ความเข้ากันได้ของอุปกรณ์
Scene Semantics API ใช้รายการอุปกรณ์ที่รองรับเดียวกันกับ Depth API โปรดดูหน้าอุปกรณ์ที่รองรับ ARCore เพื่อดูรายการอุปกรณ์ล่าสุดที่รองรับ API ทั้ง 2 รายการ
กรณีการใช้งานที่รองรับ
Scene Semantics API ออกแบบมาเพื่อใช้ในสถานการณ์ต่อไปนี้
ฉากกลางแจ้ง: รองรับฉากกลางแจ้งเท่านั้น และไม่ได้มีไว้สำหรับ Use Case ในอาคาร
การวางแนวตั้ง: ควรใช้เฉพาะในโหมดการวางแนวเริ่มต้นของอุปกรณ์เท่านั้น (เช่น แนวตั้ง) เราไม่ได้รับประกันคุณภาพของป้ายกำกับความหมายสำหรับโหมดแนวนอน