Garantir a qualidade e a confiabilidade do comando é fundamental ao usar o acesso direto ao modelo com o Gemini Nano.
Para avaliar a qualidade do comando, desenvolva um conjunto abrangente de entradas e saídas esperadas para seu caso de uso.
Para avaliar se o comando atende ao seu padrão de qualidade com cada versão do modelo Gemini Nano, recomendamos o seguinte fluxo de trabalho:
- Execute o conjunto de dados de avaliação e registre as saídas.
- Avalie os resultados manualmente ou use o
LLM-as-a-judge.
- Se a avaliação não atender ao seu nível de qualidade, repita o comando. Por exemplo, peça a um LLM mais avançado, como o Gemini Pro, para melhorar o comando com base na saída desejada em comparação com a saída real.
A engenharia de comandos melhora o desempenho das tarefas, e a iteração nos comandos é fundamental. Recomendamos pelo menos 3 a 5 iterações nas etapas acima. Essa abordagem tem limites, já que as otimizações acabam oferecendo retornos decrescentes.
Como alternativa, para melhorar os comandos rapidamente em escala, use o
otimizador baseado em dados, que pode segmentar modelos no dispositivo, como
gemma-3n-e4b-it.
Segurança
Para garantir que o Gemini Nano retorne resultados seguros para os usuários, várias camadas de proteção são implementadas para limitar resultados nocivos ou não intencionais:
- Segurança nativa do modelo: todos os modelos do Gemini, incluindo o Gemini Nano, são treinados para serem seguros por padrão. Isso significa que as considerações de segurança são integradas ao núcleo do modelo, não apenas adicionadas como uma reflexão tardia.
- Filtros de segurança na entrada e na saída: tanto o comando de entrada quanto os resultados gerados pelo ambiente de execução do Gemini Nano são avaliados de acordo com nossos filtros de segurança antes de serem fornecidos ao app. Isso ajuda a evitar que conteúdo não seguro passe despercebido, sem perda de qualidade.
No entanto, como cada app tem os próprios critérios para o que é considerado conteúdo seguro para os usuários, avalie os riscos de segurança para o caso de uso específico do seu app e teste de acordo.
Outros recursos
- Sua IA é boa? Avaliação de IA generativa em todas as etapas, explicada: uma postagem do blog que descreve como usar o serviço de avaliação de IA generativa.
- Visão geral do serviço de avaliação de IA generativa: documentação que descreve como avaliar modelos de IA generativa para dar suporte a tarefas como comparações de modelos, melhoria de comandos e ajuste.
- Executar um pipeline de avaliação baseado em computação: documentação sobre como avaliar o desempenho do modelo.