As APIs GenAI do Kit de ML usam o poder do Gemini Nano para ajudar seus apps a realizar tarefas de IA generativa no dispositivo. Essas APIs são criadas com base no AICore, um serviço do sistema Android que gerencia modelos de fundação no dispositivo e acelera a inferência, mantendo a privacidade dos dados do usuário.
Os termos adicionais de serviço da API GenAI do Kit de ML se aplicam ao uso das APIs GenAI. Os desenvolvedores são os únicos responsáveis pela segurança do cliente de API e pela experiência do usuário no app.
Principais recursos
O Kit de ML organiza os recursos de IA generativa nas seguintes categorias:
Geração e agentes personalizados
Trabalhe diretamente com o modelo de fundação Gemini Nano para comandos personalizados e Agentic Workflows autônomos:
- Acesso direto ao modelo (usando a classe
GenerativeModel): gere texto ou saída estruturada com base em comandos personalizados somente de texto ou multimodais, ou gerencie seu próprio histórico de conversas multiturno diretamente usando um objetoList<Content>com papéisUSEReMODELe um valorsessionId, além de gerenciar declarações de ferramentas diretamente. - Agentic workflows (usando a classe
AgentRunner): criados com base na classeGenerativeModel, automatizando o gerenciamento de sessões multiturno (incluindo o histórico de conversas na memória) e loops de chamada de ferramentas em várias etapas.
Fala e áudio
Transcreva, traduza e sintetize áudio de fala no dispositivo:
- Reconhecimento de fala: transcreva conteúdo de áudio falado em texto no mesmo idioma.
- Tradução simultânea: traduza áudio falado em texto em outro idioma em tempo real.
- Conversão de texto em voz: sintetize áudio de fala com som natural a partir de texto.
Tarefas de texto e imagem
Use APIs específicas para tarefas otimizadas para tarefas comuns de visão, escrita e pesquisa sem engenharia de comandos:
- Descrição de imagem: gera uma descrição curta de uma imagem.
- Resumo: resuma artigos ou conversas de chat em uma lista com marcadores.
- Revisão: melhore o conteúdo curto refinando a gramática e corrigindo erros de ortografia.
- Reescrever: reescreva mensagens curtas em diferentes tons ou estilos.
- Pesquisa semântica: gere embeddings de vetor para texto e imagens usando a API Embedding e combine-os com o AppSearch do AndroidX para encontrar conteúdo por significado.
Benefícios das APIs de IA generativa
Assim como outros recursos do Kit de ML, as APIs GenAI são executadas inteiramente no dispositivo e, portanto, oferecem os seguintes benefícios:
- Os dados de entrada, inferência e saída são processados localmente
- A funcionalidade permanece a mesma sem uma conexão de Internet confiável
- Nenhum custo adicional de servidor é gerado para cada chamada de API.
Além disso, como as APIs GenAI são criadas com base no AICore e usam o Gemini Nano, os apps e as APIs específicas de tarefas compartilham o mesmo modelo de base do Gemini Nano no dispositivo. Isso evita que o usuário precise esperar o download de um modelo separado se o Gemini Nano já estiver no dispositivo, o que economiza espaço de armazenamento. Saiba como o AICore isola as solicitações para proteger a privacidade.
Streaming x não streaming
As APIs GenAI do Kit de ML oferecem opções de streaming e não streaming para receber resultados. A API de streaming fornece respostas de forma incremental à medida que são geradas, fornecendo um fluxo contínuo de dados. Por outro lado, a API que não é de streaming aguarda até que toda a resposta seja concluída antes de retorná-la como um único bloco.
Escolha a API de streaming para respostas longas, porque ela permite um feedback inicial mais rápido. A API que não é de streaming é mais adequada para respostas curtas ou quando os resultados são processados em lotes.
Suporte do dispositivo
A compatibilidade de dispositivos com geração e agentes personalizados e APIs de tarefas de texto e imagem é descrita nas seções a seguir. Para recursos que não estão listados nesta seção, consulte as páginas de recursos individuais para informações sobre compatibilidade com dispositivos.
Geração personalizada e suporte a dispositivos de agentes
O acesso direto ao modelo e os Agentic Workflows estão disponíveis nos seguintes dispositivos:
nano-v2 |
|
nano-v3 |
|
nano-v4 |
|
Suporte a dispositivos para tarefas de texto e imagem
As APIs Descrição de imagem, Resumo, Revisão e Reescrita estão disponíveis nos dispositivos a seguir, com planos de expansão para outros dispositivos:
- Google: Pixel 11, Pixel 11 Pro, Pixel 11 Pro XL, Pixel 11 Pro Fold, Pixel 10, Pixel 10 Pro, Pixel 10 Pro XL, Pixel 10 Pro Fold, Pixel 9, Pixel 9 Pro, Pixel 9 Pro XL e Pixel 9 Pro Fold
- Honor: Honor 400 Pro, Magic 7, Magic 7 Pro, Magic 8 Pro, Magic V5
- iQOO: iQOO 13, iQOO 15
- Lenovo: Lenovo Idea Tab Pro Gen 2, Lenovo Legion Tab Gen 5(8,8")
- Motorola: Razr 60 Ultra, Razr Ultra 2025, Signature
- OnePlus: OnePlus 15, OnePlus 15R, OnePlus 13, OnePlus 13s
- OPPO: Find N5, Find X9, Find X9 Pro, Find X8, Find X8 Pro, Reno 14 Pro 5G, Reno 15 Pro 5G, Reno 15 Pro Mini 5G, Reno 15 Pro Max 5G
- POCO: POCO F7 Ultra, POCO F8 Pro, POCO F8 Ultra, POCO X7 Pro, POCO X8 Pro
- realme: realme GT 7 Pro, realme GT 7T
- Samsung: Galaxy S25, Galaxy S25+, Galaxy S25 Ultra, Galaxy S26, Galaxy S26+, Galaxy S26 Ultra, Galaxy Z Flip8, Galaxy Z Fold8, Galaxy Z Fold8 Ultra, Galaxy Z Fold7, Galaxy Z TriFold
- Sharp: AQUOS R11
- Sony: Xperia 1 VIII
- vivo: vivo X200T, vivo X200 FE, vivo X200, vivo X200 Pro, vivo X300, X300 Pro, vivo X Fold3 Pro, vivo X Fold5, vivo T4 Ultra
- Xiaomi: Xiaomi 14T Pro, Xiaomi 15, Xiaomi 15T, Xiaomi 15T Pro, Xiaomi 15 Ultra, Xiaomi 17, Xiaomi 17 Ultra, Xiaomi Pad Mini
A disponibilidade de suporte para idiomas específicos pode variar de acordo com a configuração do dispositivo e os modelos que foram baixados nele.
Recuperar a versão do Gemini Nano
Versões diferentes do Gemini Nano são executadas em dispositivos diferentes. Para retornar a
versão do Gemini Nano em um dispositivo, use o método getBaseModelName().
Cota por aplicativo
O AICore aplica uma cota de inferência por app. Fazer muitas
solicitações de API de IA generativa em um curto período vai resultar em uma resposta
ErrorCode.BUSY. Ao receber esse erro, use a espera exponencial para
tentar novamente. Além disso, ErrorCode.PER_APP_BATTERY_USE_QUOTA_EXCEEDED pode ser
retornado se um app exceder uma cota de longa duração (por exemplo, uma cota diária).
Uso em segundo plano
A inferência da API GenAI só é permitida quando o app é o aplicativo em primeiro plano
principal. Usar a API quando o app não estiver em primeiro plano, incluindo
o uso de um serviço em primeiro plano, vai resultar em uma resposta
ErrorCode.BACKGROUND_USE_BLOCKED.
Exemplo de código
Para acessar esse código, confira os seguintes exemplos: