Invia richieste personalizzate con l'accesso diretto al modello Gemini Nano

Con l'accesso diretto ai modelli di ML Kit (com.google.mlkit:genai-prompt), puoi inviare richieste personalizzate in linguaggio naturale on-device al foundation model Gemini Nano tramite la classe GenerativeModel. L'accesso diretto al modello accetta input di testo o multimodali (immagine e testo), supporta conversazioni multi-turno gestite dal client (List<Content> con ruoli USER e MODEL e sessionId) ed emette output di testo o output strutturato digitato.

Puoi utilizzare l'accesso diretto al modello per una serie di casi d'uso, tra cui:

Caso d'uso

Esempio

Comprensione delle immagini

Analisi delle foto per la classificazione, ad esempio "animali domestici", "cibo" o "viaggi".

Shorts

Traduzione di brevi messaggi tra un fattorino e un cliente.

Riassunto guidato

Riassumere le recensioni di un ristorante in base all'interesse specifico di un utente.

Estrazione di entità

Estrazione di dettagli importanti su un evento imminente da un thread di email.

Ispirazione per la generazione di contenuti

Suggerimento di prompt per una voce di diario.

Scansione intelligente dei documenti

Estrazione e categorizzazione degli articoli dall'immagine di uno scontrino.

Classificazione del testo

Classificazione delle recensioni dei clienti in una categoria positiva, neutra o negativa.

Accesso diretto ai modelli e API specifiche per le attività

Oltre all'accesso diretto al foundation model Gemini Nano per prompt personalizzati, ML Kit fornisce API preconfigurate per attività dedicate di riconoscimento vocale, immagini e testo: Riconoscimento vocale, Descrizione dell'immagine, Riassunto, Correzione di bozze, Riscrittura e altro ancora. Le API per le attività di testo e immagini utilizzano tipi di caratteristiche specifiche per l'attività e adattatori LoRA ottimizzati oltre al modello di base condiviso. La tabella seguente illustra i vantaggi di ciascun approccio:

Considerazione

Accesso diretto al modello (GenerativeModel)

API per attività di testo e immagini

Sforzo di integrazione

Alta.

Richiede un maggiore impegno per l'implementazione, a causa del prompt engineering e della garanzia di qualità.

stress.

Richiede meno sforzo, poiché queste API utilizzano tipi di caratteristiche specifiche per l'attività e adattatori LoRA ottimizzati oltre al modello di base. Non è necessario lavorare direttamente con l'LLM.

Flessibilità

Maggiore flessibilità, in quanto puoi progettare prompt personalizzati, gestire il contesto multi-turn, applicare schemi strutturati tipizzati o creare workflow con agenti di livello superiore (AgentRunner) su GenerativeModel.

Minore flessibilità. Ogni API specifica per l'attività ha un perfezionamento LoRA fisso e un prompt integrato con le seguenti caratteristiche:

  • La descrizione dell'immagine è generica e breve.
  • I riepiloghi possono essere composti solo da 1-3 punti elenco.
  • La riscrittura supporta solo gli stili predefiniti.

In generale, utilizza l'accesso diretto al modello quando hai bisogno di maggiore personalizzazione e flessibilità e utilizza le API specifiche per l'attività per le attività standard che non richiedono una logica personalizzata.

Codice campione