Các API GenAI của Bộ công cụ học máy khai thác sức mạnh của Gemini Nano để giúp ứng dụng của bạn thực hiện các tác vụ AI tạo sinh trên thiết bị. Các API này được xây dựng dựa trên AICore, một dịch vụ hệ thống Android quản lý các mô hình nền tảng trên thiết bị và tăng tốc độ suy luận trong khi vẫn bảo mật dữ liệu người dùng.
Điều khoản dịch vụ bổ sung của API GenAI trong Bộ công cụ học máy áp dụng cho việc sử dụng API GenAI. Nhà phát triển hoàn toàn chịu trách nhiệm về sự an toàn của ứng dụng API và trải nghiệm người dùng trong ứng dụng của họ.
Các chức năng chính
Bộ công cụ học máy sắp xếp các tính năng AI tạo sinh thành các danh mục sau:
Tác nhân và nội dung tạo tuỳ chỉnh
Làm việc trực tiếp với mô hình nền tảng Gemini Nano để tạo câu lệnh tuỳ chỉnh và quy trình làm việc tự động của tác nhân:
- Truy cập trực tiếp vào mô hình (bằng cách sử dụng lớp
GenerativeModel): Tạo văn bản hoặc kết quả có cấu trúc được nhập từ câu lệnh đa phương thức hoặc chỉ có văn bản tuỳ chỉnh, hoặc quản lý trực tiếp nhật ký trò chuyện nhiều lượt của riêng bạn bằng cách sử dụng đối tượngList<Content>có vai tròUSERvàMODELvà giá trịsessionId, đồng thời quản lý trực tiếp các nội dung khai báo công cụ. - Quy trình làm việc dựa trên tác nhân (sử dụng lớp
AgentRunner): Được xây dựng dựa trên lớpGenerativeModel, tự động hoá việc quản lý phiên nhiều lượt (bao gồm cả nhật ký trò chuyện trong bộ nhớ) và vòng lặp gọi công cụ nhiều bước.
Giọng nói và âm thanh
Chép lời, dịch và tổng hợp âm thanh lời nói trên thiết bị:
- Nhận dạng lời nói: Chép lời nội dung âm thanh lời nói thành văn bản bằng cùng một ngôn ngữ.
- Dịch lời nói: Dịch âm thanh lời nói thành văn bản bằng một ngôn ngữ khác theo thời gian thực.
- Chuyển văn bản sang lời nói: Tổng hợp âm thanh lời nói nghe tự nhiên từ văn bản.
Nhiệm vụ về văn bản và hình ảnh
Sử dụng các API dành riêng cho nhiệm vụ được tối ưu hoá cho các nhiệm vụ phổ biến về thị giác, viết và tìm kiếm mà không cần thiết kế câu lệnh:
- Mô tả hình ảnh: Tạo nội dung mô tả ngắn cho một hình ảnh nhất định.
- Tóm tắt: Tóm tắt bài viết hoặc cuộc trò chuyện dưới dạng danh sách có dấu đầu dòng.
- Hiệu đính: Trau chuốt nội dung ngắn bằng cách tinh chỉnh ngữ pháp và sửa lỗi chính tả.
- Viết lại: Viết lại tin nhắn ngắn theo nhiều giọng điệu hoặc phong cách.
- Tìm kiếm ngữ nghĩa: Tạo các mục nhúng vectơ cho văn bản và hình ảnh bằng API Nhúng, đồng thời ghép nối các mục đó với AppSearch của AndroidX để tìm nội dung theo ý nghĩa.
Lợi ích của API AI tạo sinh
Tương tự như các tính năng hiện có khác của Bộ công cụ học máy, các API GenAI chạy hoàn toàn trên thiết bị và do đó mang lại những lợi ích sau:
- Dữ liệu đầu vào, suy luận và đầu ra được xử lý trên thiết bị
- Chức năng vẫn giữ nguyên khi không có kết nối Internet ổn định
- Không phát sinh thêm chi phí máy chủ cho mỗi lệnh gọi API
Ngoài ra, vì các API GenAI được xây dựng dựa trên AICore và hoạt động nhờ Gemini Nano, nên các ứng dụng và API dành riêng cho tác vụ sẽ dùng chung một mô hình cơ sở Gemini Nano cơ bản trên thiết bị. Điều này giúp tránh phải chờ tải một mô hình riêng xuống nếu Gemini Nano đã có trên thiết bị, từ đó tiết kiệm dung lượng lưu trữ. Tìm hiểu thêm về cách AICore tách biệt các yêu cầu để bảo vệ quyền riêng tư.
Phát trực tuyến so với không phát trực tuyến
API GenAI của Bộ công cụ học máy cung cấp cả tuỳ chọn truyền trực tuyến và không truyền trực tuyến để nhận kết quả. API truyền trực tuyến cung cấp phản hồi theo từng phần khi được tạo, mang lại luồng dữ liệu liên tục. Ngược lại, API không truyền trực tuyến sẽ đợi cho đến khi toàn bộ phản hồi hoàn tất rồi mới trả về dưới dạng một khối duy nhất.
Chọn API truyền trực tuyến cho các câu trả lời dài vì API này cho phép phản hồi ban đầu nhanh hơn. API không truyền trực tuyến phù hợp hơn cho các câu trả lời ngắn hoặc khi xử lý kết quả theo lô.
Hỗ trợ về thiết bị
Khả năng hỗ trợ của thiết bị đối với các API tác vụ văn bản và hình ảnh cũng như các tác nhân và hoạt động tạo tuỳ chỉnh được mô tả trong các phần sau. Đối với mọi tính năng không có trong phần này, hãy xem từng trang tính năng để biết thông tin hỗ trợ thiết bị.
Hỗ trợ thiết bị cho tác nhân và thế hệ tuỳ chỉnh
Quyền truy cập trực tiếp vào mô hình và quy trình làm việc dựa trên tác nhân được hỗ trợ trên các thiết bị sau:
nano-v2 |
|
nano-v3 |
|
nano-v4 |
|
Hỗ trợ thiết bị cho tác vụ văn bản và hình ảnh
Các API Mô tả hình ảnh, Tóm tắt, Hiệu đính và Viết lại hiện có trên các thiết bị sau, đồng thời chúng tôi có kế hoạch mở rộng phạm vi hỗ trợ cho các thiết bị khác:
- Google: Pixel 11, Pixel 11 Pro, Pixel 11 Pro XL, Pixel 11 Pro Fold, Pixel 10, Pixel 10 Pro, Pixel 10 Pro XL, Pixel 10 Pro Fold, Pixel 9, Pixel 9 Pro, Pixel 9 Pro XL, Pixel 9 Pro Fold
- Honor: Honor 400 Pro, Magic 7, Magic 7 Pro, Magic 8 Pro, Magic V5
- iQOO: iQOO 13, iQOO 15
- Lenovo: Lenovo Idea Tab Pro Gen 2, Lenovo Legion Tab Gen 5(8.8")
- Motorola: Razr 60 Ultra, Razr Ultra 2025, Signature
- OnePlus: OnePlus 15, OnePlus 15R, OnePlus 13, OnePlus 13s
- OPPO: Find N5, Find X9, Find X9 Pro, Find X8, Find X8 Pro, Reno 14 Pro 5G, Reno 15 Pro 5G, Reno 15 Pro Mini 5G, Reno 15 Pro Max 5G
- POCO: POCO F7 Ultra, POCO F8 Pro, POCO F8 Ultra, POCO X7 Pro, POCO X8 Pro
- realme: realme GT 7 Pro, realme GT 7T
- Samsung: Galaxy S25, Galaxy S25+, Galaxy S25 Ultra, Galaxy S26, Galaxy S26+, Galaxy S26 Ultra, Galaxy Z Flip8, Galaxy Z Fold8, Galaxy Z Fold8 Ultra, Galaxy Z Fold7, Galaxy Z TriFold
- Sharp: AQUOS R11
- Sony: Xperia 1 VIII
- vivo: vivo X200T, vivo X200 FE, vivo X200, vivo X200 Pro, vivo X300, X300 Pro, vivo X Fold3 Pro, vivo X Fold5, vivo T4 Ultra
- Xiaomi: Xiaomi 14T Pro, Xiaomi 15, Xiaomi 15T, Xiaomi 15T Pro, Xiaomi 15 Ultra, Xiaomi 17, Xiaomi 17 Ultra, Xiaomi Pad Mini
Phạm vi hỗ trợ ngôn ngữ cụ thể có thể thay đổi tuỳ theo cấu hình của thiết bị cụ thể và các mô hình đã được tải xuống thiết bị.
Truy xuất phiên bản Gemini Nano
Các phiên bản khác nhau của Gemini Nano chạy trên các thiết bị khác nhau. Để trả về phiên bản Gemini Nano trên một thiết bị, hãy sử dụng phương thức getBaseModelName().
Hạn mức cho mỗi ứng dụng
AICore thực thi hạn mức suy luận cho mỗi ứng dụng. Việc gửi quá nhiều yêu cầu API GenAI trong một khoảng thời gian ngắn sẽ dẫn đến phản hồi ErrorCode.BUSY. Khi nhận được lỗi như vậy, hãy cân nhắc sử dụng thuật toán đợi luỹ tuyến để thử lại yêu cầu. Ngoài ra, ErrorCode.PER_APP_BATTERY_USE_QUOTA_EXCEEDED có thể được trả về nếu một ứng dụng vượt quá hạn mức trong thời gian dài (ví dụ: hạn mức hằng ngày).
Sử dụng ở chế độ nền
Ứng dụng chỉ được phép suy luận API GenAI khi ứng dụng đó là ứng dụng trên nền trước
hàng đầu. Việc sử dụng API khi ứng dụng không chạy trên nền trước, bao gồm cả việc sử dụng dịch vụ nền trước, sẽ dẫn đến phản hồi ErrorCode.BACKGROUND_USE_BLOCKED.
Mã mẫu
Để lấy mã này, hãy xem các mẫu sau: