Interfejsy GenAI API w ML Kit wykorzystują moc Gemini Nano, aby ułatwiać aplikacjom wykonywanie zadań. Dzięki interfejsowi wysokiego poziomu te interfejsy API zapewniają gotową jakość w popularnych przypadkach użycia. Interfejsy ML Kit generatywna AI API są oparte na AICore, usłudze systemowej Androida, która umożliwia wykonywanie na urządzeniu podstawowych modeli generatywna AI . Ułatwia to korzystanie z funkcji takich jak ulepszone funkcje aplikacji i większa prywatność użytkownika dzięki lokalnemu przetwarzaniu danych.
Korzystanie z interfejsów GenAI API podlega dodatkowym warunkom korzystania z usługi ML Kit GenAI API. Deweloperzy ponoszą wyłączną odpowiedzialność za bezpieczeństwo klienta interfejsu API i wygodę użytkowników aplikacji.
Najważniejsze funkcje
Interfejsy ML Kit GenAI API obsługują te funkcje:
- Podsumowywanie: podsumowuj artykuły lub rozmowy na czacie w formie listy punktowanej.
- **Korekta**: poprawiaj krótkie treści, dopracowując gramatykę i poprawiając błędy ortograficzne.
- Przeredagowywanie: przeredagowuj krótkie wiadomości w różnych tonach lub stylach.
- Opis obrazu: generuj krótki opis danego obrazu.
- **Rozpoznawanie mowy**: transkrybuj treści audio na tekst.
- Prompt: generuj treści tekstowe na podstawie niestandardowego prompta tekstowego lub multimodalnego.
Zalety interfejsów GenAI API
Podobnie jak inne funkcje ML Kit, interfejsy GenAI API działają w całości na urządzeniu, dzięki czemu zapewniają te korzyści:
- Dane wejściowe, wnioskowanie i dane wyjściowe są przetwarzane lokalnie.
- Funkcjonalność pozostaje taka sama bez niezawodnego połączenia z internetem.
- Za każde wywołanie interfejsu API nie są naliczane dodatkowe opłaty za serwer.
Ponadto, ponieważ interfejsy GenAI API są oparte na AICore i korzystają z Gemini Nano, każda aplikacja może używać udostępnionego modelu Gemini Nano, który znajduje się na urządzeniu. Dzięki temu nie trzeba czekać na pobranie modelu, jeśli jest on już na urządzeniu, co z kolei pozwala oszczędzać miejsce na dane. Dowiedz się więcej o tym, jak AICore izoluje żądania, aby chronić prywatność.
Strumieniowanie a brak strumieniowania
Interfejsy ML Kit GenAI API oferują zarówno opcje strumieniowania, jak i brak strumieniowania w przypadku otrzymywania wyników. Interfejs API strumieniowania dostarcza odpowiedzi przyrostowo w miarę ich generowania, zapewniając ciągły przepływ danych. Natomiast interfejs API bez strumieniowania czeka na zakończenie całej odpowiedzi, zanim zwróci ją jako pojedynczy blok.
W przypadku długich odpowiedzi wybierz interfejs API strumieniowania, ponieważ umożliwia on szybsze uzyskanie wstępnych opinii. Interfejs API bez strumieniowania jest bardziej odpowiedni w przypadku krótkich odpowiedzi lub przetwarzania wyników w partiach.
Obsługa urządzeń
Interfejsy API specyficzne dla funkcji GenAI (podsumowywanie, korekta, przeredagowywanie i opis obrazu) mają inną obsługę urządzeń niż interfejs Prompt API, co opisano w kolejnych sekcjach.
Obsługa urządzeń przez interfejsy API specyficzne dla funkcji
Interfejsy API podsumowywania, korekty, przeredagowywania i opisu obrazu są dostępne na tych urządzeniach. Planujemy rozszerzyć obsługę na dodatkowe urządzenia:
- Google: Pixel 10, Pixel 10 Pro, Pixel 10 Pro XL, Pixel 10 Pro Fold, Pixel 9, Pixel 9 Pro, Pixel 9 Pro XL, Pixel 9 Pro Fold
- Honor: Honor 400 Pro, Magic 7, Magic 7 Pro, Magic 8 Pro, Magic V5
- iQOO: iQOO 13, iQOO 15
- Lenovo: Lenovo Idea Tab Pro Gen 2, Lenovo Legion Tab Gen 5(8,8 cala)
- Motorola: Razr 60 Ultra, Razr Ultra 2025, Signature
- OnePlus: OnePlus 15, OnePlus 15R, OnePlus 13, OnePlus 13s
- OPPO: Find N5, Find X9, Find X9 Pro, Find X8, Find X8 Pro, Reno 14 Pro 5G, Reno 15 Pro 5G, Reno 15 Pro Mini 5G, Reno 15 Pro Max 5G
- POCO: POCO F7 Ultra, POCO F8 Pro, POCO F8 Ultra, POCO X7 Pro, POCO X8 Pro
- realme: realme GT 7 Pro, realme GT 7T
- Samsung: Galaxy S25, Galaxy S25+, Galaxy S25 Ultra, Galaxy S26, Galaxy S26+, Galaxy S26 Ultra, Galaxy Z Fold7, Galaxy Z TriFold
- Sharp: AQUOS R11
- Sony: Xperia 1 VIII
- vivo: vivo X200T, vivo X200 FE, vivo X200, vivo X200 Pro, vivo X300, X300 Pro, vivo X Fold3 Pro, vivo X Fold5, vivo T4 Ultra
- Xiaomi: Xiaomi 14T Pro, Xiaomi 15, Xiaomi 15T, Xiaomi 15T Pro, Xiaomi 15 Ultra, Xiaomi 17, Xiaomi 17 Ultra, Xiaomi Pad Mini
Dostępność obsługi konkretnych języków może się różnić w zależności od konfiguracji urządzenia i modeli pobranych na urządzenie.
Obsługa urządzeń przez interfejs Prompt API
Interfejs Prompt API jest obsługiwany na tych urządzeniach:
nano-v2 |
|
nano-v3 |
|
Obsługa urządzeń przez interfejs Speech Recognition API
Interfejs Speech Recognition API jest obsługiwany na tych urządzeniach:
| Tryb podstawowy | Korzysta z tradycyjnego modelu rozpoznawania mowy na urządzeniu, który jest dostępny na większości urządzeń z Androidem z poziomem interfejsu API 31 lub nowszym. |
|---|---|
| Tryb zaawansowany | Wykorzystuje model GenAI, aby zapewnić wyższą jakość i szerszy zakres języków. Jest obsługiwany przez urządzenia Pixel 10. Pracujemy nad obsługą większej liczby urządzeń. |
Pobieranie wersji Gemini Nano
Na różnych urządzeniach działają różne wersje Gemini Nano. Aby zwrócić wersję Gemini Nano na urządzeniu, użyj funkcji getBaseModelName().
Limit na aplikację
AICore wymusza limit wnioskowania na aplikację. Zbyt wiele żądań interfejsu GenAI API w krótkim czasie spowoduje zwrócenie odpowiedzi ErrorCode.BUSY. W przypadku otrzymania takiego błędu rozważ użycie wzrastającego czasu do ponowienia, aby ponowić próbę wysłania żądania. Jeśli aplikacja przekroczy limit długotrwały (np. limit dzienny), może też zostać zwrócony kod ErrorCode.PER_APP_BATTERY_USE_QUOTA_EXCEEDED.
Wykorzystanie w tle
Wnioskowanie za pomocą interfejsu GenAI API jest dozwolone tylko wtedy, gdy aplikacja jest aplikacją na pierwszym planie. Używanie interfejsu API, gdy aplikacja nie jest na pierwszym planie, w tym używanie usługi na pierwszym planie, spowoduje zwrócenie odpowiedzi ErrorCode.BACKGROUND_USE_BLOCKED.
Przykładowy kod
Aby uzyskać ten kod, zapoznaj się z tymi przykładami: