Deteksi dan pelacakan objek
Tetap teratur dengan koleksi
Simpan dan kategorikan konten berdasarkan preferensi Anda.
Dengan API deteksi dan pelacakan objek di perangkat dari ML Kit, Anda dapat mendeteksi dan melacak objek dalam gambar atau feed kamera live.
Secara opsional, Anda dapat mengklasifikasikan objek yang terdeteksi, baik menggunakan
pengklasifikasi kasar yang dibangun ke dalam API, atau menggunakan model klasifikasi
gambar kustom Anda sendiri. Lihat Menggunakan model TensorFlow Lite kustom untuk mengetahui informasi selengkapnya.
Karena deteksi dan pelacakan objek terjadi di perangkat, objek ini berfungsi dengan baik
sebagai bagian depan pipeline penelusuran visual. Setelah mendeteksi dan memfilter objek, Anda bisa meneruskannya ke backend cloud, seperti Cloud Vision Product Search.
iOS
Android
Kemampuan utama
- Deteksi dan pelacakan objek yang cepat
Deteksi objek dan dapatkan lokasinya dalam gambar. Melacak objek di seluruh
bingkai gambar berturut-turut.
- Model di perangkat yang dioptimalkan
Model deteksi dan pelacakan objek dioptimalkan untuk perangkat seluler
dan ditujukan untuk digunakan dalam aplikasi real-time, bahkan pada perangkat
yang lebih rendah.
- Deteksi objek yang jelas
Otomatis menentukan objek yang paling terlihat dalam gambar.
- Klasifikasi kasar
Mengklasifikasikan objek ke dalam kategori luas, yang dapat Anda gunakan untuk memfilter
objek yang tidak Anda minati. Kategori berikut ini didukung:
peralatan rumah tangga, perlengkapan mode, makanan, tanaman, dan tempat.
- Klasifikasi dengan model kustom Gunakan model klasifikasi gambar kustom Anda sendiri untuk mengidentifikasi atau memfilter kategori objek tertentu. Tingkatkan performa model kustom Anda dengan tidak menampilkan latar belakang gambar.
Hasil contoh
Melacak objek yang paling menonjol di seluruh gambar
Contoh di bawah ini menunjukkan data pelacakan dari tiga frame berturut-turut dengan pengklasifikasi kasar default yang disediakan oleh ML Kit.
 |
| ID Pelacakan |
0 |
| Batas |
(95, 45), (496, 45), (496, 240), (95, 240) |
| Kategori |
TEMPAT |
| Keyakinan klasifikasi |
0,9296875 |
|
 |
| ID Pelacakan |
0 |
| Batas |
(84, 46), (478, 46), (478, 247), (84, 247) |
| Kategori |
TEMPAT |
| Keyakinan klasifikasi |
0,8710938 |
|
 |
| ID Pelacakan |
0 |
| Batas |
(53, 45), (519, 45), (519, 240), (53, 240) |
| Kategori |
TEMPAT |
| Keyakinan klasifikasi |
0,8828125 |
|
Foto: Christian Ferrer [CC BY-SA 4.0]
Beberapa objek dalam gambar statis
Contoh di bawah ini menunjukkan data untuk empat objek yang terdeteksi dalam gambar dengan pengklasifikasi kasar default yang disediakan oleh ML Kit.
| Objek 0 |
| Batas |
(1, 97), (332, 97), (332, 332), (1, 332) |
| Kategori |
FASHION_GOOD |
| Keyakinan klasifikasi |
0,95703125 |
| Objek 1 |
| Batas |
(186, 80), (337, 80), (337, 226), (186, 226) |
| Kategori |
FASHION_GOOD |
| Keyakinan klasifikasi |
0,84375 |
| Objek 2 |
| Batas |
(296, 80), (472, 80), (472, 388), (296, 388) |
| Kategori |
FASHION_GOOD |
| Keyakinan klasifikasi |
0,94921875 |
| Objek 3 |
| Batas |
(439, 83), (615, 83), (615, 306), (439, 306) |
| Kategori |
FASHION_GOOD |
| Keyakinan klasifikasi |
0,9375 |
Menggunakan model TensorFlow Lite kustom
Pengklasifikasi kasar default dibuat untuk lima kategori, yang memberikan informasi terbatas tentang objek yang terdeteksi. Anda mungkin memerlukan model pengklasifikasi yang lebih terspesialisasi yang mencakup domain konsep yang lebih sempit secara lebih mendetail;
misalnya, model untuk membedakan antara spesies bunga atau jenis
makanan.
API ini memungkinkan Anda melakukan penyesuaian pada kasus penggunaan tertentu dengan mendukung model klasifikasi gambar kustom dari berbagai sumber. Lihat Model kustom dengan ML Kit untuk mempelajari lebih lanjut. Model kustom dapat dipaketkan dengan aplikasi Anda atau didownload secara dinamis dari cloud menggunakan layanan deployment Model Firebase Machine Learning.
iOS
Android
Jika diperlukan, deteksi dan pelacakan objek menggunakan penskalaan dan
peregangan gambar bilinear untuk menyesuaikan ukuran gambar input dan rasio lebar tinggi agar sesuai dengan
persyaratan model yang mendasarinya.
Kecuali dinyatakan lain, konten di halaman ini dilisensikan berdasarkan Lisensi Creative Commons Attribution 4.0, sedangkan contoh kode dilisensikan berdasarkan Lisensi Apache 2.0. Untuk mengetahui informasi selengkapnya, lihat Kebijakan Situs Google Developers. Java adalah merek dagang terdaftar dari Oracle dan/atau afiliasinya.
Terakhir diperbarui pada 2025-08-29 UTC.
[null,null,["Terakhir diperbarui pada 2025-08-29 UTC."],[[["\u003cp\u003eML Kit's on-device API enables detection and tracking of objects within images or live camera feeds, working efficiently even on lower-end mobile devices.\u003c/p\u003e\n"],["\u003cp\u003eIt offers optional object classification using a built-in coarse classifier or your own custom TensorFlow Lite model for more specialized categorization.\u003c/p\u003e\n"],["\u003cp\u003eThe API can identify the most prominent object in an image and track it across frames, making it suitable for visual search applications.\u003c/p\u003e\n"],["\u003cp\u003eCustom models can be integrated to classify objects into specific categories, enhancing the functionality for tailored use cases.\u003c/p\u003e\n"],["\u003cp\u003eInput images are automatically preprocessed to fit model requirements, using bilinear scaling and stretching if necessary.\u003c/p\u003e\n"]]],["ML Kit's API enables on-device object detection and tracking in images or live feeds, optionally classifying them. It features fast detection, an optimized model for mobile, and prominent object identification. Objects can be classified into broad categories or with custom models. The API supports custom image classification models, including ones dynamically downloaded. Detected objects are tracked across frames, and the system adjusts input image size and aspect ratio as needed.\n"],null,["With ML Kit's on-device object detection and tracking API, you can detect\nand track objects in an image or live camera feed.\n\nOptionally, you can classify detected objects, either by using the coarse\nclassifier built into the API, or using your own custom image classification\nmodel. See [Using a custom TensorFlow Lite model](#custom-tflite) for more\ninformation.\n\nBecause object detection and tracking happens on the device, it works well as\nthe front end of the visual search pipeline. After you detect and filter\nobjects, you can pass them to a cloud backend, such as\n[Cloud Vision Product Search](https://cloud.google.com/vision/product-search/docs/).\n\n[iOS](/ml-kit/vision/object-detection/ios)\n[Android](/ml-kit/vision/object-detection/android)\n\nKey capabilities\n\n- **Fast object detection and tracking** Detect objects and get their locations in the image. Track objects across successive image frames.\n- **Optimized on-device model** The object detection and tracking model is optimized for mobile devices and intended for use in real-time applications, even on lower-end devices.\n- **Prominent object detection** Automatically determine the most prominent object in an image.\n- **Coarse classification** Classify objects into broad categories, which you can use to filter out objects you're not interested in. The following categories are supported: home goods, fashion goods, food, plants, and places.\n- **Classification with a custom model** Use your own custom image classification model to identify or filter specific object categories. Make your custom model perform better by leaving out background of the image.\n\nExample results\n\nTracking the most prominent object across images\n\nThe example below shows the tracking data from three successive frames with the\ndefault coarse classifier provided by ML Kit.\n\n|---|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n| | |---------------------------|--------------------------------------------| | Tracking ID | 0 | | Bounds | (95, 45), (496, 45), (496, 240), (95, 240) | | Category | PLACE | | Classification confidence | 0.9296875 | |\n| | |---------------------------|--------------------------------------------| | Tracking ID | 0 | | Bounds | (84, 46), (478, 46), (478, 247), (84, 247) | | Category | PLACE | | Classification confidence | 0.8710938 | |\n| | |---------------------------|--------------------------------------------| | Tracking ID | 0 | | Bounds | (53, 45), (519, 45), (519, 240), (53, 240) | | Category | PLACE | | Classification confidence | 0.8828125 | |\n\nPhoto: Christian Ferrer \\[CC BY-SA 4.0\\]\n\nMultiple objects in a static image\n\nThe example below shows the data for the four objects detected in the image with\nthe default coarse classifier provided by ML Kit.\n\n| Object 0 ||\n|---------------------------|----------------------------------------------|\n| Bounds | (1, 97), (332, 97), (332, 332), (1, 332) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.95703125 |\n| Bounds | (186, 80), (337, 80), (337, 226), (186, 226) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.84375 |\n| Bounds | (296, 80), (472, 80), (472, 388), (296, 388) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.94921875 |\n| Bounds | (439, 83), (615, 83), (615, 306), (439, 306) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.9375 |\n\nUsing a custom TensorFlow Lite model\n\nThe default coarse classifier is built for five categories, providing limited\ninformation about the detected objects. You might need a more specialized\nclassifier model that covers a narrower domain of concepts in more detail;\nfor example, a model to distinguish between species of flowers or types of\nfood.\n\nThis API lets you tailor to a particular use case by by supporting custom image\nclassification models from a wide range of sources. Please refer to\n[Custom models with ML Kit](/ml-kit/custom-models) to learn more. Custom models\ncan be bundled with your app or dynamically downloaded from the cloud using\nFirebase Machine Learning's Model deployment service.\n\n[iOS](/ml-kit/vision/object-detection/custom-models/ios)\n[Android](/ml-kit/vision/object-detection/custom-models/android)\n\nInput image preprocessing\n\nIf needed, object detection and tracking uses bilinear image scaling and\nstretching to adjust the input image size and aspect ratio so that they fit the\nrequirements of the underlying model."]]
