Hướng dẫn dành riêng cho nền tảng
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
Scene Semantics API giúp nhà phát triển hiểu cảnh xung quanh người dùng. Điều này là cần thiết để có nhiều trải nghiệm thực tế tăng cường chất lượng cao. Được xây dựng trên mô hình ML (học máy), Scene Semantics API (API ngữ nghĩa của cảnh) cung cấp thông tin ngữ nghĩa theo thời gian thực, bổ sung cho thông tin hình học hiện có trong ARCore.
Khi có hình ảnh của một cảnh ngoài trời, API sẽ trả về một nhãn cho từng pixel trên một tập hợp các lớp ngữ nghĩa hữu ích, chẳng hạn như bầu trời, toà nhà, cây cối, đường, vỉa hè, phương tiện đi lại, người, v.v. Ngoài nhãn pixel, API Ngữ nghĩa cảnh cũng cung cấp các giá trị độ tin cậy cho từng nhãn pixel và một cách dễ sử dụng để truy vấn mức độ phổ biến của một nhãn nhất định trong cảnh ngoài trời.
Từ trái sang phải là ví dụ về hình ảnh đầu vào, hình ảnh ngữ nghĩa của nhãn pixel và hình ảnh tin cậy tương ứng:
Với Scene Semantics API, nhà phát triển có thể xác định các thành phần cảnh cụ thể, chẳng hạn như đường và vỉa hè để giúp người dùng đi qua một thành phố xa lạ, người và xe cộ để kết xuất các vật thể bị che khuất trên các vật thể động, bầu trời để tạo cảnh hoàng hôn bất cứ lúc nào trong ngày và các toà nhà để sửa đổi giao diện và neo các vật thể ảo.
Nhãn ngữ nghĩa và chất lượng
Scene Semantics API cung cấp nhiều nhãn, mỗi nhãn có chất lượng hoặc độ tin cậy tương ứng. Nhìn chung, mô hình học máy có khả năng dự đoán các lớp của đối tượng/bề mặt lớn hơn, phổ biến hơn so với các lớp của đối tượng/bề mặt nhỏ hơn hoặc hiếm hơn. Các lớp có thể được nhóm thành các bậc chất lượng như sau, theo thứ tự từ cao đến thấp:
| Các cấp chất lượng của nhãn ngữ nghĩa | |
|---|---|
| Các thành phần chính của cảnh |
|
| Thông tin chi tiết chính về cảnh |
|
| Chi tiết cảnh phụ |
|
Khả năng tương thích với thiết bị
API ngữ nghĩa cảnh có cùng danh sách thiết bị được hỗ trợ như Depth API. Vui lòng tham khảo trang Thiết bị được hỗ trợ ARCore để biết danh sách mới nhất về các thiết bị hỗ trợ cả hai API.
Trường hợp sử dụng được hỗ trợ
Scene Semantics API được thiết kế để sử dụng trong các trường hợp sau:
Cảnh ngoài trời: Chỉ hỗ trợ cảnh ngoài trời và không dành cho các trường hợp sử dụng trong nhà.
Hướng dọc: Chỉ nên sử dụng ở chế độ hướng mặc định của thiết bị (tức là hướng dọc). Chất lượng của nhãn ngữ nghĩa không được đảm bảo cho chế độ ngang.