Rilevamento e monitoraggio degli oggetti
Mantieni tutto organizzato con le raccolte
Salva e classifica i contenuti in base alle tue preferenze.
Con l'API di rilevamento e monitoraggio di oggetti on-device di ML Kit, puoi rilevare
e monitorare gli oggetti in un'immagine o nel feed videocamera dal vivo.
Facoltativamente, puoi classificare gli oggetti rilevati utilizzando il classificatore
generico integrato nell'API o utilizzando il tuo modello di classificazione delle immagini
personalizzato. Per ulteriori informazioni, consulta Utilizzo di un modello TensorFlow Lite personalizzato.
Poiché il rilevamento e il monitoraggio degli oggetti avviene sul dispositivo, funziona bene come
il front-end della pipeline di ricerca visiva. Dopo aver rilevato e filtrato gli oggetti, puoi passarli a un backend cloud, come Cloud Vision Product Search.
iOS
Android
Funzionalità chiave
- Rilevamento e tracciamento rapido degli oggetti
Rileva gli oggetti e individua la loro posizione nell'immagine. Consente di tenere traccia degli oggetti
tra cornici di immagini successive.
- Modello on-device ottimizzato
Il modello di rilevamento e monitoraggio degli oggetti è ottimizzato per i dispositivi mobili
e destinato all'uso in applicazioni in tempo reale, anche su dispositivi
di fascia inferiore.
- Rilevamento di oggetti in evidenza
Determina automaticamente l'oggetto più in evidenza in un'immagine.
- Classificazione approssimativa
Classifica gli oggetti in ampie categorie, che puoi utilizzare per filtrare
gli oggetti che non ti interessano. Sono supportate le seguenti categorie:
articoli per la casa, articoli di moda, cibo, piante e luoghi.
- Classificazione con un modello personalizzato
Utilizza il tuo modello di classificazione delle immagini personalizzato per identificare o filtrare categorie di oggetti specifiche. Migliora il rendimento del tuo modello personalizzato
escludendo lo sfondo dell'immagine.
Risultati di esempio
Monitoraggio dell'oggetto più in evidenza nelle immagini
L'esempio di seguito mostra i dati di monitoraggio di tre frame successivi con il classificatore approssimativo predefinito fornito da ML Kit.
 |
| ID monitoraggio |
0 |
| Limiti |
(95; 45), (496; 45), (496, 240), (95, 240) |
| Categoria |
LUOGO |
| Affidabilità della classificazione |
0,9296875 |
|
 |
| ID monitoraggio |
0 |
| Limiti |
(84, 46), (478, 46), (478, 247), (84, 247) |
| Categoria |
LUOGO |
| Affidabilità della classificazione |
0,8710938 |
|
 |
| ID monitoraggio |
0 |
| Limiti |
(53; 45), (519; 45), (519, 240), (53, 240) |
| Categoria |
LUOGO |
| Affidabilità della classificazione |
0,8828125 |
|
Foto: Christian Ferrer [CC BY-SA 4.0]
Più oggetti in un'immagine statica
L'esempio seguente mostra i dati per i quattro oggetti rilevati nell'immagine con il classificatore approssimativo predefinito fornito da ML Kit.
| Oggetto 0 |
| Limiti |
(1; 97), (332, 97), (332, 332), (1, 332) |
| Categoria |
FASHION_GOOD |
| Affidabilità della classificazione |
0,95703125 |
| Oggetto 1 |
| Limiti |
(186; 80), (337, 80), (337, 226), (186, 226) |
| Categoria |
FASHION_GOOD |
| Affidabilità della classificazione |
0,84375 |
| Oggetto 2 |
| Limiti |
(296; 80), (472, 80), (472, 388), (296, 388) |
| Categoria |
FASHION_GOOD |
| Affidabilità della classificazione |
0,94921875 |
| Oggetto 3 |
| Limiti |
(439; 83), (615, 83), (615, 306), (439, 306) |
| Categoria |
FASHION_GOOD |
| Affidabilità della classificazione |
0,9375 |
Utilizzo di un modello TensorFlow Lite personalizzato
Il classificatore generico predefinito è composto da cinque categorie e fornisce informazioni limitate sugli oggetti rilevati. Potresti aver bisogno di un modello di classificazione più specializzato che copra un dominio più ristretto di concetti in modo più dettagliato; ad esempio, un modello per distinguere tra specie di fiori o tipi di alimenti.
Questa API ti consente di adattare il sistema a un caso d'uso particolare supportando modelli di classificazione delle immagini personalizzati da un'ampia gamma di origini. Per saperne di più, consulta
Modelli personalizzati con ML Kit. I modelli personalizzati
possono essere abbinati alla tua app o scaricati dinamicamente dal cloud utilizzando
il servizio di deployment dei modelli di Firebase Machine Learning.
iOS
Android
Se necessario, il rilevamento e il tracciamento degli oggetti utilizzano il ridimensionamento e lo allungamento dell'immagine bilineare per regolare le dimensioni e le proporzioni dell'immagine di input in modo che si adattino ai requisiti del modello sottostante.
Salvo quando diversamente specificato, i contenuti di questa pagina sono concessi in base alla licenza Creative Commons Attribution 4.0, mentre gli esempi di codice sono concessi in base alla licenza Apache 2.0. Per ulteriori dettagli, consulta le norme del sito di Google Developers. Java è un marchio registrato di Oracle e/o delle sue consociate.
Ultimo aggiornamento 2025-08-29 UTC.
[null,null,["Ultimo aggiornamento 2025-08-29 UTC."],[[["\u003cp\u003eML Kit's on-device API enables detection and tracking of objects within images or live camera feeds, working efficiently even on lower-end mobile devices.\u003c/p\u003e\n"],["\u003cp\u003eIt offers optional object classification using a built-in coarse classifier or your own custom TensorFlow Lite model for more specialized categorization.\u003c/p\u003e\n"],["\u003cp\u003eThe API can identify the most prominent object in an image and track it across frames, making it suitable for visual search applications.\u003c/p\u003e\n"],["\u003cp\u003eCustom models can be integrated to classify objects into specific categories, enhancing the functionality for tailored use cases.\u003c/p\u003e\n"],["\u003cp\u003eInput images are automatically preprocessed to fit model requirements, using bilinear scaling and stretching if necessary.\u003c/p\u003e\n"]]],["ML Kit's API enables on-device object detection and tracking in images or live feeds, optionally classifying them. It features fast detection, an optimized model for mobile, and prominent object identification. Objects can be classified into broad categories or with custom models. The API supports custom image classification models, including ones dynamically downloaded. Detected objects are tracked across frames, and the system adjusts input image size and aspect ratio as needed.\n"],null,["With ML Kit's on-device object detection and tracking API, you can detect\nand track objects in an image or live camera feed.\n\nOptionally, you can classify detected objects, either by using the coarse\nclassifier built into the API, or using your own custom image classification\nmodel. See [Using a custom TensorFlow Lite model](#custom-tflite) for more\ninformation.\n\nBecause object detection and tracking happens on the device, it works well as\nthe front end of the visual search pipeline. After you detect and filter\nobjects, you can pass them to a cloud backend, such as\n[Cloud Vision Product Search](https://cloud.google.com/vision/product-search/docs/).\n\n[iOS](/ml-kit/vision/object-detection/ios)\n[Android](/ml-kit/vision/object-detection/android)\n\nKey capabilities\n\n- **Fast object detection and tracking** Detect objects and get their locations in the image. Track objects across successive image frames.\n- **Optimized on-device model** The object detection and tracking model is optimized for mobile devices and intended for use in real-time applications, even on lower-end devices.\n- **Prominent object detection** Automatically determine the most prominent object in an image.\n- **Coarse classification** Classify objects into broad categories, which you can use to filter out objects you're not interested in. The following categories are supported: home goods, fashion goods, food, plants, and places.\n- **Classification with a custom model** Use your own custom image classification model to identify or filter specific object categories. Make your custom model perform better by leaving out background of the image.\n\nExample results\n\nTracking the most prominent object across images\n\nThe example below shows the tracking data from three successive frames with the\ndefault coarse classifier provided by ML Kit.\n\n|---|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n| | |---------------------------|--------------------------------------------| | Tracking ID | 0 | | Bounds | (95, 45), (496, 45), (496, 240), (95, 240) | | Category | PLACE | | Classification confidence | 0.9296875 | |\n| | |---------------------------|--------------------------------------------| | Tracking ID | 0 | | Bounds | (84, 46), (478, 46), (478, 247), (84, 247) | | Category | PLACE | | Classification confidence | 0.8710938 | |\n| | |---------------------------|--------------------------------------------| | Tracking ID | 0 | | Bounds | (53, 45), (519, 45), (519, 240), (53, 240) | | Category | PLACE | | Classification confidence | 0.8828125 | |\n\nPhoto: Christian Ferrer \\[CC BY-SA 4.0\\]\n\nMultiple objects in a static image\n\nThe example below shows the data for the four objects detected in the image with\nthe default coarse classifier provided by ML Kit.\n\n| Object 0 ||\n|---------------------------|----------------------------------------------|\n| Bounds | (1, 97), (332, 97), (332, 332), (1, 332) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.95703125 |\n| Bounds | (186, 80), (337, 80), (337, 226), (186, 226) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.84375 |\n| Bounds | (296, 80), (472, 80), (472, 388), (296, 388) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.94921875 |\n| Bounds | (439, 83), (615, 83), (615, 306), (439, 306) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.9375 |\n\nUsing a custom TensorFlow Lite model\n\nThe default coarse classifier is built for five categories, providing limited\ninformation about the detected objects. You might need a more specialized\nclassifier model that covers a narrower domain of concepts in more detail;\nfor example, a model to distinguish between species of flowers or types of\nfood.\n\nThis API lets you tailor to a particular use case by by supporting custom image\nclassification models from a wide range of sources. Please refer to\n[Custom models with ML Kit](/ml-kit/custom-models) to learn more. Custom models\ncan be bundled with your app or dynamically downloaded from the cloud using\nFirebase Machine Learning's Model deployment service.\n\n[iOS](/ml-kit/vision/object-detection/custom-models/ios)\n[Android](/ml-kit/vision/object-detection/custom-models/android)\n\nInput image preprocessing\n\nIf needed, object detection and tracking uses bilinear image scaling and\nstretching to adjust the input image size and aspect ratio so that they fit the\nrequirements of the underlying model."]]
