L'API de détection et de suivi d'objets sur l'appareil de ML Kit vous permet de détecter et de suivre des objets dans une image ou un flux de caméra en direct.
Vous pouvez éventuellement classer les objets détectés à l'aide du classificateur grossier intégré à l'API ou à l'aide de votre propre modèle de classification d'images personnalisé. Pour en savoir plus, consultez la page Utiliser un modèle TensorFlow Lite personnalisé.
Étant donné que la détection et le suivi des objets ont lieu sur l'appareil, ils fonctionnent bien en tant que frontend du pipeline de recherche visuelle. Après avoir détecté et filtré les objets, vous pouvez les transmettre à un backend cloud, tel que Cloud Vision Product Search.
Capacités clés
- Détection et suivi rapides des objets Détectez les objets et obtenez leur position dans l'image. Suivez des objets sur des images successives.
- Modèle sur l'appareil optimisé Le modèle de détection et de suivi d'objets est optimisé pour les appareils mobiles et destiné à être utilisé dans des applications en temps réel, même sur des appareils bas de gamme.
- Détection d'objets visibles : cette fonctionnalité détermine automatiquement l'objet le plus proéminent d'une image.
- Classification approximative Classez les objets en catégories générales, que vous pouvez utiliser pour filtrer les objets qui ne vous intéressent pas. Les catégories suivantes sont acceptées : articles pour la maison, articles de mode, alimentation, plantes et lieux.
- Classification avec un modèle personnalisé Utilisez votre propre modèle de classification d'images personnalisé pour identifier ou filtrer des catégories d'objets spécifiques. Améliorez les performances de votre modèle personnalisé en omettant l'arrière-plan de l'image.
Exemples de résultats
Suivi de l'objet le plus proéminent dans les images
L'exemple ci-dessous présente les données de suivi de trois images successives avec le classificateur grossier par défaut fourni par ML Kit.
 |
|
||||||||
 |
|
||||||||
 |
|
Photo: Christian Ferrer [CC BY-SA 4.0]
Plusieurs objets dans une image statique
L'exemple ci-dessous montre les données des quatre objets détectés dans l'image avec le classificateur grossier par défaut fourni par ML Kit.
| Objet 0 | |
|---|---|
| Limites | (1, 97), (332, 97), (332, 332), (1, 332) |
| Catégorie | FASHION_GOOD |
| Niveau de confiance de la classification | 0,95703125 |
| Object 1 | |
| Limites | (186, 80), (337, 80), (337, 226), (186, 226) |
| Catégorie | FASHION_GOOD |
| Niveau de confiance de la classification | 0,84375 |
| Object 2 | |
| Limites | (296, 80), (472, 80), (472, 388), (296, 388) |
| Catégorie | FASHION_GOOD |
| Niveau de confiance de la classification | 0,94921875 |
| Object 3 | |
| Limites | (439, 83), (615, 83), (615, 306), (439, 306) |
| Catégorie | FASHION_GOOD |
| Niveau de confiance de la classification | 0,9375 |
Utiliser un modèle TensorFlow Lite personnalisé
Le classificateur approximatif par défaut est conçu pour cinq catégories, fournissant des informations limitées sur les objets détectés. Vous aurez peut-être besoin d'un modèle de classificateur plus spécialisé qui couvre un domaine de concepts plus restreint (par exemple, un modèle pour distinguer des espèces de fleurs ou des types d'aliments).
Cette API vous permet de répondre à un cas d'utilisation particulier en acceptant des modèles de classification d'images personnalisés provenant d'un large éventail de sources. Pour en savoir plus, consultez la page Modèles personnalisés avec ML Kit. Vous pouvez regrouper les modèles personnalisés avec votre application ou les télécharger de manière dynamique depuis le cloud à l'aide du service de déploiement de modèles de Firebase Machine Learning.
Prétraitement de l'image d'entrée
Si nécessaire, la détection et le suivi d'objets utilisent la mise à l'échelle bilinéaire et l'étirement d'image pour ajuster la taille et le format de l'image d'entrée afin qu'ils répondent aux exigences du modèle sous-jacent.