Detecção e rastreamento de objetos
Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
Com a API de detecção e rastreamento de objetos no dispositivo do Kit de ML, é possível detectar
e rastrear objetos em uma imagem ou feed de câmera ao vivo.
Também é possível classificar os objetos detectados usando o classificador geral integrado à API ou seu próprio modelo de classificação de imagem personalizado. Consulte Como usar um modelo personalizado do TensorFlow Lite para mais
informações.
Como a detecção e o rastreamento de objetos acontecem no dispositivo, ela funciona bem como o front-end do pipeline de pesquisa visual. Depois de detectar e filtrar
objetos, é possível transmiti-los para um back-end de nuvem, como a
Pesquisa de produtos do Cloud Vision.
iOS
Android
Principais recursos
- Detecção e rastreamento rápidos de objetos
Detecte objetos e receba a localização deles na imagem. Rastreie objetos em
frames de imagem sucessivos.
- Modelo no dispositivo otimizado
O modelo de detecção e rastreamento de objetos é otimizado para dispositivos móveis
e destina-se ao uso em aplicativos em tempo real, mesmo em dispositivos
mais simples.
- Detecção de objetos em destaque
Define automaticamente o objeto mais proeminente em uma imagem.
- Classificação aproximada
Classifique objetos em categorias amplas, que você pode usar para filtrar
objetos que não são do seu interesse. As seguintes categorias são aceitas: artigos domésticos, artigos de moda, alimentos, plantas e lugares.
- Classificação com um modelo personalizado
Use seu próprio modelo de classificação de imagem personalizado para identificar ou filtrar categorias específicas de objetos. Deixe o plano de fundo da imagem de fora para melhorar o desempenho
do seu modelo personalizado.
Resultados de exemplo
Como rastrear o objeto mais proeminente nas imagens
O exemplo abaixo mostra os dados de rastreamento de três frames sucessivos com o
classificador aproximado padrão fornecido pelo Kit de ML.
 |
| ID de acompanhamento |
0 |
| Limites |
(95, 45), (496, 45), (496, 240), (95, 240) |
| Categoria |
POSIÇÃO |
| Confiança na classificação |
0,9296875 |
|
 |
| ID de acompanhamento |
0 |
| Limites |
(84, 46), (478, 46), (478, 247), (84, 247) |
| Categoria |
POSIÇÃO |
| Confiança na classificação |
0,8710938 |
|
 |
| ID de acompanhamento |
0 |
| Limites |
(53, 45), (519, 45), (519, 240), (53, 240) |
| Categoria |
POSIÇÃO |
| Confiança na classificação |
0,8828125 |
|
Foto: Christian Ferrer [CC BY-SA 4.0]
Vários objetos em uma imagem estática
O exemplo abaixo mostra os dados dos quatro objetos detectados na imagem com o classificador aproximado padrão fornecido pelo kit de ML.
| Objeto 0 |
| Limites |
(1, 97), (332, 97), (332, 332), (1, 332) |
| Categoria |
FASHION_GOOD |
| Confiança na classificação |
0,95703125 |
| Objeto 1 |
| Limites |
(186, 80), (337, 80), (337, 226), (186, 226) |
| Categoria |
FASHION_GOOD |
| Confiança na classificação |
0,84375 |
| Objeto 2 |
| Limites |
(296, 80), (472, 80), (472, 388), (296, 388) |
| Categoria |
FASHION_GOOD |
| Confiança na classificação |
0,94921875 |
| Objeto 3 |
| Limites |
(439, 83), (615, 83), (615, 306), (439, 306) |
| Categoria |
FASHION_GOOD |
| Confiança na classificação |
0,9375 |
Como usar um modelo personalizado do TensorFlow Lite
O classificador aproximado padrão foi criado para cinco categorias, fornecendo informações limitadas
sobre os objetos detectados. Talvez você precise de um modelo de classificador mais especializado,
que abranja um domínio mais restrito de conceitos com mais detalhes.
Por exemplo, um modelo para distinguir entre espécies de flores ou tipos de
alimentos.
Essa API permite adaptar-se a um caso de uso específico, oferecendo suporte a modelos de classificação de imagem personalizados de uma ampla variedade de origens. Consulte Modelos personalizados com o Kit de ML para saber mais. Os modelos personalizados podem ser empacotados com seu aplicativo ou dinamicamente transferidos por download da nuvem usando o serviço de implantação de modelos do Firebase Machine Learning.
iOS
Android
Se necessário, a detecção e o rastreamento de objetos usam dimensionamento e alongamento de imagem bilinear para ajustar o tamanho e a proporção da imagem de entrada de modo que elas se encaixem nos
requisitos do modelo subjacente.
Exceto em caso de indicação contrária, o conteúdo desta página é licenciado de acordo com a Licença de atribuição 4.0 do Creative Commons, e as amostras de código são licenciadas de acordo com a Licença Apache 2.0. Para mais detalhes, consulte as políticas do site do Google Developers. Java é uma marca registrada da Oracle e/ou afiliadas.
Última atualização 2025-08-29 UTC.
[null,null,["Última atualização 2025-08-29 UTC."],[[["\u003cp\u003eML Kit's on-device API enables detection and tracking of objects within images or live camera feeds, working efficiently even on lower-end mobile devices.\u003c/p\u003e\n"],["\u003cp\u003eIt offers optional object classification using a built-in coarse classifier or your own custom TensorFlow Lite model for more specialized categorization.\u003c/p\u003e\n"],["\u003cp\u003eThe API can identify the most prominent object in an image and track it across frames, making it suitable for visual search applications.\u003c/p\u003e\n"],["\u003cp\u003eCustom models can be integrated to classify objects into specific categories, enhancing the functionality for tailored use cases.\u003c/p\u003e\n"],["\u003cp\u003eInput images are automatically preprocessed to fit model requirements, using bilinear scaling and stretching if necessary.\u003c/p\u003e\n"]]],["ML Kit's API enables on-device object detection and tracking in images or live feeds, optionally classifying them. It features fast detection, an optimized model for mobile, and prominent object identification. Objects can be classified into broad categories or with custom models. The API supports custom image classification models, including ones dynamically downloaded. Detected objects are tracked across frames, and the system adjusts input image size and aspect ratio as needed.\n"],null,["With ML Kit's on-device object detection and tracking API, you can detect\nand track objects in an image or live camera feed.\n\nOptionally, you can classify detected objects, either by using the coarse\nclassifier built into the API, or using your own custom image classification\nmodel. See [Using a custom TensorFlow Lite model](#custom-tflite) for more\ninformation.\n\nBecause object detection and tracking happens on the device, it works well as\nthe front end of the visual search pipeline. After you detect and filter\nobjects, you can pass them to a cloud backend, such as\n[Cloud Vision Product Search](https://cloud.google.com/vision/product-search/docs/).\n\n[iOS](/ml-kit/vision/object-detection/ios)\n[Android](/ml-kit/vision/object-detection/android)\n\nKey capabilities\n\n- **Fast object detection and tracking** Detect objects and get their locations in the image. Track objects across successive image frames.\n- **Optimized on-device model** The object detection and tracking model is optimized for mobile devices and intended for use in real-time applications, even on lower-end devices.\n- **Prominent object detection** Automatically determine the most prominent object in an image.\n- **Coarse classification** Classify objects into broad categories, which you can use to filter out objects you're not interested in. The following categories are supported: home goods, fashion goods, food, plants, and places.\n- **Classification with a custom model** Use your own custom image classification model to identify or filter specific object categories. Make your custom model perform better by leaving out background of the image.\n\nExample results\n\nTracking the most prominent object across images\n\nThe example below shows the tracking data from three successive frames with the\ndefault coarse classifier provided by ML Kit.\n\n|---|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n| | |---------------------------|--------------------------------------------| | Tracking ID | 0 | | Bounds | (95, 45), (496, 45), (496, 240), (95, 240) | | Category | PLACE | | Classification confidence | 0.9296875 | |\n| | |---------------------------|--------------------------------------------| | Tracking ID | 0 | | Bounds | (84, 46), (478, 46), (478, 247), (84, 247) | | Category | PLACE | | Classification confidence | 0.8710938 | |\n| | |---------------------------|--------------------------------------------| | Tracking ID | 0 | | Bounds | (53, 45), (519, 45), (519, 240), (53, 240) | | Category | PLACE | | Classification confidence | 0.8828125 | |\n\nPhoto: Christian Ferrer \\[CC BY-SA 4.0\\]\n\nMultiple objects in a static image\n\nThe example below shows the data for the four objects detected in the image with\nthe default coarse classifier provided by ML Kit.\n\n| Object 0 ||\n|---------------------------|----------------------------------------------|\n| Bounds | (1, 97), (332, 97), (332, 332), (1, 332) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.95703125 |\n| Bounds | (186, 80), (337, 80), (337, 226), (186, 226) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.84375 |\n| Bounds | (296, 80), (472, 80), (472, 388), (296, 388) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.94921875 |\n| Bounds | (439, 83), (615, 83), (615, 306), (439, 306) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.9375 |\n\nUsing a custom TensorFlow Lite model\n\nThe default coarse classifier is built for five categories, providing limited\ninformation about the detected objects. You might need a more specialized\nclassifier model that covers a narrower domain of concepts in more detail;\nfor example, a model to distinguish between species of flowers or types of\nfood.\n\nThis API lets you tailor to a particular use case by by supporting custom image\nclassification models from a wide range of sources. Please refer to\n[Custom models with ML Kit](/ml-kit/custom-models) to learn more. Custom models\ncan be bundled with your app or dynamically downloaded from the cloud using\nFirebase Machine Learning's Model deployment service.\n\n[iOS](/ml-kit/vision/object-detection/custom-models/ios)\n[Android](/ml-kit/vision/object-detection/custom-models/android)\n\nInput image preprocessing\n\nIf needed, object detection and tracking uses bilinear image scaling and\nstretching to adjust the input image size and aspect ratio so that they fit the\nrequirements of the underlying model."]]
