Con las APIs de etiquetado de imágenes del Kit de AA, puedes detectar y extraer información sobre entidades en una imagen que abarque un amplio grupo de categorías. El modelo de etiquetado de imágenes predeterminado puede identificar objetos generales, lugares, actividades, especies de animales, productos y mucho más.
También puedes usar un modelo de clasificación de imágenes personalizado para adaptar la detección a un caso de uso específico. Consulta Cómo usar un modelo personalizado de TensorFlow Lite para obtener más información.
Funciones clave
- Un potente clasificador base de uso general Reconoce más de 400 categorías que describen los objetos más comunes en las fotos.
- Adapta tu caso de uso con modelos personalizados Usa otros modelos previamente entrenados de TensorFlow Hub o tu propio modelo personalizado entrenado con TensorFlow, AutoML Vision Edge o TensorFlow Lite Model maker.
- API de alto nivel y fáciles de usar No es necesario que te ocupes de la entrada y salida de modelos de bajo nivel, el procesamiento previo y posterior de imágenes ni la compilación de una canalización de procesamiento. El Kit de AA extrae las etiquetas del modelo de TensorFlow Lite y las proporciona como una descripción de texto.
Ten en cuenta que esta API está diseñada para modelos de clasificación de imágenes que describen la imagen completa. Para clasificar uno o más objetos en una imagen, como zapatos o muebles, la API de Detección y seguimiento de objetos puede ser una mejor opción.
Modelos de clasificación de imágenes compatibles
Las APIs de etiquetado de imágenes admiten diferentes modelos de clasificación de imágenes:
| Modelos de clasificación de imágenes compatibles | |
|---|---|
| Modelo base | De forma predeterminada, la API usa un potente modelo de etiquetado de imágenes de uso general que reconoce más de 400 entidades que abarcan los conceptos más comunes en las fotos. |
| Modelos personalizados de TensorFlow Lite | Para orientarse a conceptos específicos de la aplicación, la API acepta modelos personalizados de clasificación de imágenes de una amplia variedad de fuentes. Estos pueden ser modelos previamente entrenados descargados desde TensorFlow Hub o tus propios modelos entrenados con AutoML Vision Edge, TensorFlow Lite Model Maker o TensorFlow mismo. Los modelos pueden empaquetarse con tu app o alojarse en el aprendizaje automático de Firebase y descargarse en el tiempo de ejecución. |
Usa el modelo base
El modelo base del ML Kit muestra una lista de entidades que identifican personas, elementos, lugares, actividades, etcétera. Cada entidad viene con una puntuación que indica la confianza que tiene el modelo de AA en su relevancia. Con esta información, puedes realizar tareas como la generación automática de metadatos y la moderación de contenido. El modelo predeterminado que se proporciona con el Kit de AA reconoce más de 400 entidades diferentes.
Etiquetas de ejemplo
El modelo base en la API de etiquetado de imágenes admite más de 400 etiquetas, como en los siguientes ejemplos:
| Categoría | Etiquetas de ejemplo |
|---|---|
| Personas | CrowdSelfieSmile |
| Actividades | DancingEatingSurfing |
| Things | CarPianoReceipt |
| Animales | BirdCatDog |
| Plantas | FlowerFruitVegetable |
| Places | BeachLakeMountain |
Resultados de ejemplo
A continuación, se muestra un ejemplo de las entidades que se reconocieron en la foto adjunta.
| Etiqueta 0 | |
|---|---|
| Texto | Estadio |
| Confianza | 0,9205354 |
| Etiqueta 1 | |
| Texto | Deportes |
| Confianza | 0,7531109 |
| Etiqueta 2 | |
| Texto | Evento |
| Confianza | 0,66905296 |
| Etiqueta 3 | |
| Texto | Ocio |
| Confianza | 0,59904146 |
| Etiqueta 4 | |
| Texto | Fútbol |
| Confianza | 0,56384534 |
| Etiqueta 5 | |
| Texto | Neta |
| Confianza | 0,54679185 |
| Etiqueta 6 | |
| Texto | Planta |
| Confianza | 0,524364 |
Usa un modelo personalizado de TensorFlow Lite
El modelo de etiquetado de imágenes base del Kit de AA está diseñado para uso general. Se entrenó para reconocer 400 categorías que describen los objetos que se encuentran con más frecuencia en las fotos. Es posible que tu app necesite un modelo especializado de clasificación de imágenes que reconozca una cantidad menor de categorías con más detalle, como un modelo que distinga entre especies de flores o tipos de comida.
Esta API te permite adaptarte a un caso de uso particular, ya que admite modelos de clasificación de imágenes personalizados de una amplia variedad de fuentes. Consulta Modelos personalizados con ML Kit para obtener más información. Los modelos personalizados se pueden empaquetar con tu app o descargar de forma dinámica desde la nube mediante el servicio de implementación de modelos de aprendizaje automático de Firebase.
Procesamiento previo de la imagen de entrada
Si es necesario, el etiquetado de imágenes usa el escalamiento y estiramiento de imágenes bilineales para ajustar el tamaño de la imagen de entrada y la relación de aspecto, de modo que se ajusten a los requisitos del modelo subyacente.