API GenAI в ML Kit используют возможности Gemini Nano, чтобы помогать вашим приложениям выполнять задачи генеративного ИИ на устройстве. Эти API созданы на основе AICore – системного сервиса Android, который управляет базовыми моделями на устройстве и ускоряет инференс, обеспечивая конфиденциальность пользовательских данных.
К использованию GenAI API применяются Дополнительные условия использования ML Kit GenAI API. Разработчики несут полную ответственность за безопасность своего API-клиента и удобство использования приложения.
Основные возможности
ML Kit организует свои возможности GenAI по следующим категориям:
Специальные агенты и генерация
Работайте напрямую с базовой моделью Gemini Nano, чтобы создавать собственные запросы и автономные агентные рабочие процессы.
- Прямой доступ к модели (с помощью класса
GenerativeModel). Генерируйте текст или типизированные структурированные выходные данные на основе текстовых или мультимодальных запросов. Вы также можете управлять историей чата, используя объектList<Content>с ролямиUSERиMODELи значениемsessionId, и декларациями инструментов. - Рабочие процессы агентов (с использованием класса
AgentRunner). Они создаются на основе классаGenerativeModelи автоматизируют управление многоэтапными сеансами (включая историю чата в памяти) и многошаговые циклы вызова инструментов.
Речь и аудио
Расшифровывайте, переводите и синтезируйте речь на устройстве:
- Распознавание речи. Преобразование голосового аудио в текст на том же языке.
- Перевод речи. Переводите устную речь в текст на другом языке в реальном времени.
- Синтез речи. Преобразование текста в речь с естественным звучанием.
Задачи с текстом и изображениями
Используйте API, оптимизированные для распространенных задач, связанных с обработкой изображений, написанием текстов и поиском, без составления запросов.
- Описание изображения. Создает краткое описание изображения.
- Обобщение. Создавайте краткие пересказы статей или чатов в виде маркированного списка.
- Проверка правописания. Исправляйте грамматические и орфографические ошибки в коротких текстах.
- Переписывание. Переписывайте короткие сообщения в разных стилях.
- Эмбеддинги. Генерируйте векторные эмбеддинги для текста и изображений с помощью Embeddings API и используйте их вместе с AndroidX AppSearch, чтобы находить контент по смыслу.
Преимущества API генеративного ИИ
Как и другие существующие функции ML Kit, API GenAI работают полностью на устройстве и, таким образом, обеспечивают следующие преимущества:
- Входные данные, логический вывод и выходные данные обрабатываются локально.
- Функциональность не зависит от стабильности подключения к интернету.
- За вызовы API не взимается дополнительная плата.
Кроме того, поскольку API GenAI созданы на основе AICore и работают на базе Gemini Nano, приложения и API для конкретных задач используют одну и ту же базовую модель Gemini Nano на устройстве. Это позволяет не ждать скачивания отдельной модели, если Gemini Nano уже есть на устройстве, и экономит место в хранилище. Подробнее о том, как AICore изолирует запросы для защиты конфиденциальности…
Потоковая передача и другие способы воспроизведения
ML Kit GenAI API предлагает как потоковые, так и непотоковые варианты получения результатов. API потоковой передачи предоставляет ответы постепенно по мере их создания, обеспечивая непрерывный поток данных. В отличие от этого, API без потоковой передачи ожидает завершения всего ответа, прежде чем вернуть его в виде единого блока.
Для длинных ответов выбирайте API потоковой передачи, так как он позволяет быстрее получить первоначальный отзыв. API без потоковой передачи больше подходит для коротких ответов или пакетной обработки результатов.
Служба поддержки устройства
Поддержка пользовательской генерации, агентов и API для задач с текстом и изображениями описана в разделах ниже. Если функция не указана в этом разделе, информацию о поддержке устройств можно найти на странице этой функции.
Поддержка пользовательских поколений и устройств агентов
Прямой доступ к модели и агентные рабочие процессы поддерживаются на следующих устройствах:
Gemini Nano 2 |
|
Gemini Nano 3 |
|
Gemini Nano 4 |
|
Доступность и версия модели могут зависеть от объема ОЗУ, версии ОС и статуса обновления AICore. Чтобы узнать, какая версия модели активна на устройстве, ознакомьтесь с разделом Как узнать версию Gemini Nano.
Поддержка устройств для задач с текстом и изображениями
API описания изображений, краткого пересказа, проверки правописания и переписывания доступны на перечисленных ниже устройствах. В будущем мы планируем расширить поддержку.
- Acer: Acer Googlebook 14
- ASUS: ASUS Googlebook 14
- Dell: XPS Googlebook
- Google: Pixel 11, Pixel 11 Pro, Pixel 11 Pro XL, Pixel 11 Pro Fold, Pixel 10, Pixel 10 Pro, Pixel 10 Pro XL, Pixel 10 Pro Fold, Pixel 9, Pixel 9 Pro, Pixel 9 Pro XL, Pixel 9 Pro Fold.
- Honor: Honor 400 Pro, Honor 600 Pro, Magic 7, Magic 7 Pro, Porsche Design Magic 7 RSR, Magic 8 Pro, Magic V5, Magic V6, MagicPad 4.
- HP: HP Googlebook 14
- iQOO: iQOO 13, iQOO 15.
- Lenovo: Lenovo Googlebook 15, Lenovo Idea Tab Pro Gen 2, Lenovo Legion Tab Gen 5 (8,8 дюйма), Lenovo Yoga Tab Plus Gen 2.
- Motorola: Edge 70 Pro, Edge 70 Pro+, Razr 60 Ultra, Razr Ultra 2025, Razr Fold, Signature.
- OnePlus: OnePlus 13, OnePlus 13s, OnePlus 15, OnePlus 15R, OnePlus Pad 3.
- OPPO: Find N5, Find N6, Find X8, Find X8 Pro, Find X9, Find X9 Pro, Find X9s, Find X9 Ultra, Find X10, Find X10 Pro Max, Reno 14 Pro 5G, Reno 15 Pro 5G, Reno 15 Pro Mini 5G, Reno 15 Pro Max 5G, Reno 16 Pro 5G.
- POCO: POCO F7 Ultra, POCO F8 Pro, POCO F8 Ultra, POCO F9 Pro, POCO X7 Pro, POCO X8 Pro, POCO X8 Pro Max.
- realme: realme GT 7, realme GT 7 Pro, realme GT 7T, realme GT 8 Pro
- Redmi: Redmi Turbo 5
- Samsung: Galaxy S25, Galaxy S25+, Galaxy S25 Edge, Galaxy S25 Ultra, Galaxy S26, Galaxy S26+, Galaxy S26 FE, Galaxy S26 Ultra, Galaxy Tab S12+, Galaxy Tab S12 Ultra, Galaxy Z Flip7, Galaxy Z Flip8, Galaxy Z Fold7, Galaxy Z Fold8, Galaxy Z Fold8 Ultra, Galaxy Z TriFold.
- Sharp: AQUOS R11
- Sony: Xperia 1 VIII
- vivo: vivo T4 Ultra, vivo X200, vivo X200 FE, vivo X200 Pro, vivo X200T, vivo X300, vivo X300 FE, vivo X300 Pro, vivo X300 Ultra, vivo X500 Pro, vivo X500 Pro Max, vivo X Fold3 Pro, vivo X Fold5, vivo X Fold6.
- Xiaomi: Leitzphone powered by Xiaomi, Xiaomi 15, Xiaomi 15T, Xiaomi 15T Pro, Xiaomi 15 Ultra, Xiaomi 17, Xiaomi 17T, Xiaomi 17T Pro, Xiaomi 17 Ultra, Xiaomi Pad Mini.
Доступность поддержки определенных языков может зависеть от конфигурации устройства и скачанных на него моделей.
Как узнать версию Gemini Nano
На разных устройствах работают разные версии Gemini Nano. Чтобы вернуть версию Gemini Nano на устройстве, используйте метод getBaseModelName().
Квота на приложение
AICore устанавливает квоту на инференс для каждого приложения. Если за короткий период времени будет отправлено слишком много запросов к GenAI API, вы получите ответ ErrorCode.BUSY. Если вы получили такую ошибку, попробуйте использовать экспоненциальную выдержку для повторной отправки запроса. Кроме того, ошибка ErrorCode.PER_APP_BATTERY_USE_QUOTA_EXCEEDED может возвращаться, если приложение превышает квоту, установленную на длительный период (например, на день).
Использование в фоновом режиме
Вызов GenAI API разрешен, только когда приложение находится на переднем плане. Если использовать API, когда приложение неактивно, в том числе при работе активной службы, будет возвращен ответ ErrorCode.BACKGROUND_USE_BLOCKED.
Образец кода
Чтобы получить этот код, ознакомьтесь со следующими примерами: