Dengan API deteksi dan pelacakan objek di perangkat dari ML Kit, Anda dapat mendeteksi dan melacak objek dalam gambar atau feed kamera live.
Secara opsional, Anda dapat mengklasifikasikan objek yang terdeteksi, baik menggunakan pengklasifikasi kasar yang dibangun ke dalam API, atau menggunakan model klasifikasi gambar kustom Anda sendiri. Lihat Menggunakan model TensorFlow Lite kustom untuk mengetahui informasi selengkapnya.
Karena deteksi dan pelacakan objek terjadi di perangkat, objek ini berfungsi dengan baik sebagai bagian depan pipeline penelusuran visual. Setelah mendeteksi dan memfilter objek, Anda bisa meneruskannya ke backend cloud, seperti Cloud Vision Product Search.
Kemampuan utama
- Deteksi dan pelacakan objek yang cepat Deteksi objek dan dapatkan lokasinya dalam gambar. Melacak objek di seluruh bingkai gambar berturut-turut.
- Model di perangkat yang dioptimalkan Model deteksi dan pelacakan objek dioptimalkan untuk perangkat seluler dan ditujukan untuk digunakan dalam aplikasi real-time, bahkan pada perangkat yang lebih rendah.
- Deteksi objek yang jelas Otomatis menentukan objek yang paling terlihat dalam gambar.
- Klasifikasi kasar Mengklasifikasikan objek ke dalam kategori luas, yang dapat Anda gunakan untuk memfilter objek yang tidak Anda minati. Kategori berikut ini didukung: peralatan rumah tangga, perlengkapan mode, makanan, tanaman, dan tempat.
- Klasifikasi dengan model kustom Gunakan model klasifikasi gambar kustom Anda sendiri untuk mengidentifikasi atau memfilter kategori objek tertentu. Tingkatkan performa model kustom Anda dengan tidak menampilkan latar belakang gambar.
Hasil contoh
Melacak objek yang paling menonjol di seluruh gambar
Contoh di bawah ini menunjukkan data pelacakan dari tiga frame berturut-turut dengan pengklasifikasi kasar default yang disediakan oleh ML Kit.
 |
|
||||||||
 |
|
||||||||
 |
|
Foto: Christian Ferrer [CC BY-SA 4.0]
Beberapa objek dalam gambar statis
Contoh di bawah ini menunjukkan data untuk empat objek yang terdeteksi dalam gambar dengan pengklasifikasi kasar default yang disediakan oleh ML Kit.
| Objek 0 | |
|---|---|
| Batas | (1, 97), (332, 97), (332, 332), (1, 332) |
| Kategori | FASHION_GOOD |
| Keyakinan klasifikasi | 0,95703125 |
| Objek 1 | |
| Batas | (186, 80), (337, 80), (337, 226), (186, 226) |
| Kategori | FASHION_GOOD |
| Keyakinan klasifikasi | 0,84375 |
| Objek 2 | |
| Batas | (296, 80), (472, 80), (472, 388), (296, 388) |
| Kategori | FASHION_GOOD |
| Keyakinan klasifikasi | 0,94921875 |
| Objek 3 | |
| Batas | (439, 83), (615, 83), (615, 306), (439, 306) |
| Kategori | FASHION_GOOD |
| Keyakinan klasifikasi | 0,9375 |
Menggunakan model TensorFlow Lite kustom
Pengklasifikasi kasar default dibuat untuk lima kategori, yang memberikan informasi terbatas tentang objek yang terdeteksi. Anda mungkin memerlukan model pengklasifikasi yang lebih terspesialisasi yang mencakup domain konsep yang lebih sempit secara lebih mendetail; misalnya, model untuk membedakan antara spesies bunga atau jenis makanan.
API ini memungkinkan Anda melakukan penyesuaian pada kasus penggunaan tertentu dengan mendukung model klasifikasi gambar kustom dari berbagai sumber. Lihat Model kustom dengan ML Kit untuk mempelajari lebih lanjut. Model kustom dapat dipaketkan dengan aplikasi Anda atau didownload secara dinamis dari cloud menggunakan layanan deployment Model Firebase Machine Learning.
Prapemrosesan gambar input
Jika diperlukan, deteksi dan pelacakan objek menggunakan penskalaan dan peregangan gambar bilinear untuk menyesuaikan ukuran gambar input dan rasio lebar tinggi agar sesuai dengan persyaratan model yang mendasarinya.