Détectez les objets et assurez leur suivi.
Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
L'API de détection et de suivi d'objets sur l'appareil de ML Kit vous permet de détecter et de suivre des objets dans une image ou un flux de caméra en direct.
Vous pouvez éventuellement classer les objets détectés à l'aide du classificateur grossier intégré à l'API ou à l'aide de votre propre modèle de classification d'images personnalisé. Pour en savoir plus, consultez la page Utiliser un modèle TensorFlow Lite personnalisé.
Étant donné que la détection et le suivi des objets ont lieu sur l'appareil, ils fonctionnent bien en tant que frontend du pipeline de recherche visuelle. Après avoir détecté et filtré les objets, vous pouvez les transmettre à un backend cloud, tel que Cloud Vision Product Search.
iOS
Android
Capacités clés
- Détection et suivi rapides des objets
Détectez les objets et obtenez leur position dans l'image. Suivez des objets sur des images successives.
- Modèle sur l'appareil optimisé
Le modèle de détection et de suivi d'objets est optimisé pour les appareils mobiles et destiné à être utilisé dans des applications en temps réel, même sur des appareils bas de gamme.
- Détection d'objets visibles : cette fonctionnalité détermine automatiquement l'objet le plus proéminent d'une image.
- Classification approximative
Classez les objets en catégories générales, que vous pouvez utiliser pour filtrer les objets qui ne vous intéressent pas. Les catégories suivantes sont acceptées : articles pour la maison, articles de mode, alimentation, plantes et lieux.
- Classification avec un modèle personnalisé
Utilisez votre propre modèle de classification d'images personnalisé pour identifier ou filtrer des catégories d'objets spécifiques. Améliorez les performances de votre modèle personnalisé en omettant l'arrière-plan de l'image.
Exemples de résultats
Suivi de l'objet le plus proéminent dans les images
L'exemple ci-dessous présente les données de suivi de trois images successives avec le classificateur grossier par défaut fourni par ML Kit.
 |
| ID de suivi |
0 |
| Limites |
(95, 45), (496, 45), (496, 240), (95, 240) |
| Catégorie |
LIEU |
| Niveau de confiance de la classification |
0,9296875 |
|
 |
| ID de suivi |
0 |
| Limites |
(84, 46), (478, 46), (478, 247), (84, 247) |
| Catégorie |
LIEU |
| Niveau de confiance de la classification |
0,8710938 |
|
 |
| ID de suivi |
0 |
| Limites |
(53, 45), (519, 45), (519, 240), (53, 240) |
| Catégorie |
LIEU |
| Niveau de confiance de la classification |
0,8828125 |
|
Photo: Christian Ferrer [CC BY-SA 4.0]
Plusieurs objets dans une image statique
L'exemple ci-dessous montre les données des quatre objets détectés dans l'image avec le classificateur grossier par défaut fourni par ML Kit.
| Objet 0 |
| Limites |
(1, 97), (332, 97), (332, 332), (1, 332) |
| Catégorie |
FASHION_GOOD |
| Niveau de confiance de la classification |
0,95703125 |
| Object 1 |
| Limites |
(186, 80), (337, 80), (337, 226), (186, 226) |
| Catégorie |
FASHION_GOOD |
| Niveau de confiance de la classification |
0,84375 |
| Object 2 |
| Limites |
(296, 80), (472, 80), (472, 388), (296, 388) |
| Catégorie |
FASHION_GOOD |
| Niveau de confiance de la classification |
0,94921875 |
| Object 3 |
| Limites |
(439, 83), (615, 83), (615, 306), (439, 306) |
| Catégorie |
FASHION_GOOD |
| Niveau de confiance de la classification |
0,9375 |
Utiliser un modèle TensorFlow Lite personnalisé
Le classificateur approximatif par défaut est conçu pour cinq catégories, fournissant des informations limitées sur les objets détectés. Vous aurez peut-être besoin d'un modèle de classificateur plus spécialisé qui couvre un domaine de concepts plus restreint (par exemple, un modèle pour distinguer des espèces de fleurs ou des types d'aliments).
Cette API vous permet de répondre à un cas d'utilisation particulier en acceptant des modèles de classification d'images personnalisés provenant d'un large éventail de sources. Pour en savoir plus, consultez la page Modèles personnalisés avec ML Kit. Vous pouvez regrouper les modèles personnalisés avec votre application ou les télécharger de manière dynamique depuis le cloud à l'aide du service de déploiement de modèles de Firebase Machine Learning.
iOS
Android
Si nécessaire, la détection et le suivi d'objets utilisent la mise à l'échelle bilinéaire et l'étirement d'image pour ajuster la taille et le format de l'image d'entrée afin qu'ils répondent aux exigences du modèle sous-jacent.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/08/29 (UTC).
[null,null,["Dernière mise à jour le 2025/08/29 (UTC)."],[[["\u003cp\u003eML Kit's on-device API enables detection and tracking of objects within images or live camera feeds, working efficiently even on lower-end mobile devices.\u003c/p\u003e\n"],["\u003cp\u003eIt offers optional object classification using a built-in coarse classifier or your own custom TensorFlow Lite model for more specialized categorization.\u003c/p\u003e\n"],["\u003cp\u003eThe API can identify the most prominent object in an image and track it across frames, making it suitable for visual search applications.\u003c/p\u003e\n"],["\u003cp\u003eCustom models can be integrated to classify objects into specific categories, enhancing the functionality for tailored use cases.\u003c/p\u003e\n"],["\u003cp\u003eInput images are automatically preprocessed to fit model requirements, using bilinear scaling and stretching if necessary.\u003c/p\u003e\n"]]],["ML Kit's API enables on-device object detection and tracking in images or live feeds, optionally classifying them. It features fast detection, an optimized model for mobile, and prominent object identification. Objects can be classified into broad categories or with custom models. The API supports custom image classification models, including ones dynamically downloaded. Detected objects are tracked across frames, and the system adjusts input image size and aspect ratio as needed.\n"],null,["With ML Kit's on-device object detection and tracking API, you can detect\nand track objects in an image or live camera feed.\n\nOptionally, you can classify detected objects, either by using the coarse\nclassifier built into the API, or using your own custom image classification\nmodel. See [Using a custom TensorFlow Lite model](#custom-tflite) for more\ninformation.\n\nBecause object detection and tracking happens on the device, it works well as\nthe front end of the visual search pipeline. After you detect and filter\nobjects, you can pass them to a cloud backend, such as\n[Cloud Vision Product Search](https://cloud.google.com/vision/product-search/docs/).\n\n[iOS](/ml-kit/vision/object-detection/ios)\n[Android](/ml-kit/vision/object-detection/android)\n\nKey capabilities\n\n- **Fast object detection and tracking** Detect objects and get their locations in the image. Track objects across successive image frames.\n- **Optimized on-device model** The object detection and tracking model is optimized for mobile devices and intended for use in real-time applications, even on lower-end devices.\n- **Prominent object detection** Automatically determine the most prominent object in an image.\n- **Coarse classification** Classify objects into broad categories, which you can use to filter out objects you're not interested in. The following categories are supported: home goods, fashion goods, food, plants, and places.\n- **Classification with a custom model** Use your own custom image classification model to identify or filter specific object categories. Make your custom model perform better by leaving out background of the image.\n\nExample results\n\nTracking the most prominent object across images\n\nThe example below shows the tracking data from three successive frames with the\ndefault coarse classifier provided by ML Kit.\n\n|---|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n| | |---------------------------|--------------------------------------------| | Tracking ID | 0 | | Bounds | (95, 45), (496, 45), (496, 240), (95, 240) | | Category | PLACE | | Classification confidence | 0.9296875 | |\n| | |---------------------------|--------------------------------------------| | Tracking ID | 0 | | Bounds | (84, 46), (478, 46), (478, 247), (84, 247) | | Category | PLACE | | Classification confidence | 0.8710938 | |\n| | |---------------------------|--------------------------------------------| | Tracking ID | 0 | | Bounds | (53, 45), (519, 45), (519, 240), (53, 240) | | Category | PLACE | | Classification confidence | 0.8828125 | |\n\nPhoto: Christian Ferrer \\[CC BY-SA 4.0\\]\n\nMultiple objects in a static image\n\nThe example below shows the data for the four objects detected in the image with\nthe default coarse classifier provided by ML Kit.\n\n| Object 0 ||\n|---------------------------|----------------------------------------------|\n| Bounds | (1, 97), (332, 97), (332, 332), (1, 332) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.95703125 |\n| Bounds | (186, 80), (337, 80), (337, 226), (186, 226) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.84375 |\n| Bounds | (296, 80), (472, 80), (472, 388), (296, 388) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.94921875 |\n| Bounds | (439, 83), (615, 83), (615, 306), (439, 306) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.9375 |\n\nUsing a custom TensorFlow Lite model\n\nThe default coarse classifier is built for five categories, providing limited\ninformation about the detected objects. You might need a more specialized\nclassifier model that covers a narrower domain of concepts in more detail;\nfor example, a model to distinguish between species of flowers or types of\nfood.\n\nThis API lets you tailor to a particular use case by by supporting custom image\nclassification models from a wide range of sources. Please refer to\n[Custom models with ML Kit](/ml-kit/custom-models) to learn more. Custom models\ncan be bundled with your app or dynamically downloaded from the cloud using\nFirebase Machine Learning's Model deployment service.\n\n[iOS](/ml-kit/vision/object-detection/custom-models/ios)\n[Android](/ml-kit/vision/object-detection/custom-models/android)\n\nInput image preprocessing\n\nIf needed, object detection and tracking uses bilinear image scaling and\nstretching to adjust the input image size and aspect ratio so that they fit the\nrequirements of the underlying model."]]
