Las APIs de IA generativa de ML Kit aprovechan la potencia de Gemini Nano para ayudar a tus apps a realizar tareas de IA generativa integrada en el dispositivo. Estas APIs se basan en AICore, un servicio del sistema de Android que administra los modelos de base integrados en el dispositivo y acelera la inferencia, a la vez que mantiene la privacidad de los datos del usuario.
Las Condiciones del Servicio Adicionales de la API de IA generativa de ML Kit se aplican al uso de las APIs de IA generativa. Los desarrolladores son los únicos responsables de la seguridad de su cliente de API y de la experiencia del usuario de su app.
Funciones clave
El ML Kit organiza sus capacidades de IA generativa en las siguientes categorías:
Generación y agentes personalizados
Trabaja directamente con el modelo de base Gemini Nano para crear instrucciones personalizadas y flujos de trabajo de agentes autónomos:
- Acceso directo al modelo (con la clase
GenerativeModel): Genera texto o un resultado estructurado con tipo a partir de instrucciones solo de texto o instrucciones multimodales personalizadas, o administra tu propio historial de chat de varios turnos directamente con un objetoList<Content>con rolesUSERyMODELy un valorsessionId, y administra las declaraciones de herramientas directamente. - Flujos de trabajo basados en agentes (con la clase
AgentRunner): Se basan en la claseGenerativeModely automatizan la administración de sesiones de varios turnos (incluido el historial de conversaciones en la memoria) y los bucles de llamadas a herramientas de varios pasos.
Voz y audio
Transcribe, traduce y sintetiza audio de voz integrado en el dispositivo:
- Reconocimiento de voz: Transcribe contenido de audio hablado a texto en el mismo idioma.
- Traducción de voz: Traduce audio hablado a texto en otro idioma en tiempo real.
- Texto a voz: Sintetiza audio de voz con sonido natural a partir de texto.
Tareas de texto y de imagen
Usa APIs específicas para tareas optimizadas para tareas comunes de visión, escritura y búsqueda sin ingeniería de instrucciones:
- Descripción de la imagen: Genera una descripción breve de una imagen determinada.
- Resumen: Resume artículos o conversaciones de chat como una lista con viñetas.
- Revisión de texto: Pule el contenido breve mejorando la gramática y corrigiendo los errores ortográficos.
- Reescritura: Reescribe mensajes cortos en diferentes tonos o estilos.
- Búsqueda semántica: Genera embeddings de vectores para texto e imágenes con la API de Embedding y vincúlalos con AppSearch de AndroidX para encontrar contenido por significado.
Beneficios de las APIs de IA generativa
Al igual que otras funciones existentes de ML Kit, las APIs de IA generativa se ejecutan por completo integrado en el dispositivo y, por lo tanto, proporcionan los siguientes beneficios:
- Los datos de entrada, inferencia y salida se procesan de forma local
- La funcionalidad sigue siendo la misma sin una conexión a Internet confiable.
- No se genera ningún costo adicional del servidor por cada llamada a la API.
Además, como las APIs de IA generativa se compilan sobre AICore y se basan en Gemini Nano, las apps y las APIs específicas de tareas comparten el mismo modelo base de Gemini Nano subyacente en el dispositivo. Esto evita tener que esperar a que se descargue un modelo independiente si Gemini Nano ya existe en un dispositivo y, a su vez, conserva espacio de almacenamiento. Obtén más información sobre cómo AICore aísla las solicitudes para proteger la privacidad.
Transmisión frente a no transmisión
Las APIs de IA generativa de ML Kit ofrecen opciones de transmisión y no transmisión para recibir resultados. La API de transmisión entrega respuestas de forma incremental a medida que se generan, lo que proporciona un flujo continuo de datos. En cambio, la API sin transmisión espera hasta que se complete toda la respuesta antes de devolverla como un solo bloque.
Elige la API de transmisión para respuestas largas, ya que permite obtener comentarios iniciales más rápidos. La API sin transmisión es más adecuada para respuestas cortas o cuando se procesan resultados en lotes.
Dispositivos compatibles
La compatibilidad de los dispositivos con la generación personalizada, los agentes y las APIs de tareas de texto e imagen se describe en las siguientes secciones. Para conocer las funciones que no se mencionan en esta sección, consulta las páginas de funciones individuales para obtener información sobre la compatibilidad con dispositivos.
Compatibilidad con la generación personalizada y los dispositivos de agentes
El acceso directo al modelo y los flujos de trabajo de agentes son compatibles con los siguientes dispositivos:
nano-v2 |
|
nano-v3 |
|
nano-v4 |
|
Compatibilidad de dispositivos con tareas de texto e imagen
Las APIs de descripción de imágenes, resumen, revisión de texto y reescritura están disponibles en los siguientes dispositivos, y se planea expandir la compatibilidad a más dispositivos:
- Google: Pixel 11, Pixel 11 Pro, Pixel 11 Pro XL, Pixel 11 Pro Fold, Pixel 10, Pixel 10 Pro, Pixel 10 Pro XL, Pixel 10 Pro Fold, Pixel 9, Pixel 9 Pro, Pixel 9 Pro XL y Pixel 9 Pro Fold
- Honor: Honor 400 Pro, Magic 7, Magic 7 Pro, Magic 8 Pro y Magic V5
- iQOO: iQOO 13, iQOO 15
- Lenovo: Lenovo Idea Tab Pro Gen 2, Lenovo Legion Tab Gen 5(8.8")
- Motorola: Razr 60 Ultra, Razr Ultra 2025, Signature
- OnePlus: OnePlus 15, OnePlus 15R, OnePlus 13 y OnePlus 13s
- OPPO: Find N5, Find X9, Find X9 Pro, Find X8, Find X8 Pro, Reno 14 Pro 5G, Reno 15 Pro 5G, Reno 15 Pro Mini 5G y Reno 15 Pro Max 5G
- POCO: POCO F7 Ultra, POCO F8 Pro, POCO F8 Ultra, POCO X7 Pro y POCO X8 Pro
- realme: realme GT 7 Pro y realme GT 7T
- Samsung: Galaxy S25, Galaxy S25+, Galaxy S25 Ultra, Galaxy S26, Galaxy S26+, Galaxy S26 Ultra, Galaxy Z Flip8, Galaxy Z Fold8, Galaxy Z Fold8 Ultra, Galaxy Z Fold7, Galaxy Z TriFold
- Sharp: AQUOS R11
- Sony: Xperia 1 VIII
- vivo: vivo X200T, vivo X200 FE, vivo X200, vivo X200 Pro, vivo X300, X300 Pro, vivo X Fold3 Pro, vivo X Fold5 y vivo T4 Ultra
- Xiaomi: Xiaomi 14T Pro, Xiaomi 15, Xiaomi 15T, Xiaomi 15T Pro, Xiaomi 15 Ultra, Xiaomi 17, Xiaomi 17 Ultra y Xiaomi Pad Mini
La disponibilidad de la compatibilidad con idiomas específicos puede variar según la configuración del dispositivo en particular y los modelos que se hayan descargado en él.
Recupera la versión de Gemini Nano
Se ejecutan diferentes versiones de Gemini Nano en distintos dispositivos. Para devolver la
versión de Gemini Nano en un dispositivo, usa el método getBaseModelName().
Cuota por aplicación
AICore aplica una cuota de inferencia por app. Si realizas demasiadas
solicitudes a la API de IA generativa en un período breve, se generará una respuesta
ErrorCode.BUSY. Cuando recibas un error de este tipo, considera usar la retirada exponencial para
volver a intentar la solicitud. Además, se puede devolver ErrorCode.PER_APP_BATTERY_USE_QUOTA_EXCEEDED si una app supera una cuota de larga duración (por ejemplo, una cuota diaria).
Uso en segundo plano
La inferencia de la API de IA generativa solo se permite cuando la app es la aplicación en primer plano
principal. Si usas la API cuando la app no está en primer plano, incluido el uso de un servicio en primer plano, se generará una respuesta ErrorCode.BACKGROUND_USE_BLOCKED.
Código de muestra
Para obtener este código, consulta los siguientes ejemplos: