Gắn nhãn hình ảnh bằng Bộ công cụ học máy trên Android

Bạn có thể dùng Bộ công cụ học máy để gắn nhãn các đối tượng nhận dạng được trong hình ảnh. Mô hình mặc định được cung cấp cùng với Bộ công cụ học máy hỗ trợ hơn 400 nhãn khác nhau.

Tính năngKhông nhómTheo cụm
Triển khaiMô hình được tải xuống một cách linh động thông qua Dịch vụ Google Play.Mô hình được liên kết tĩnh với mô hình tại thời điểm xây dựng.
Kích thước ứng dụngTăng kích thước khoảng 200 KB.Tăng kích thước khoảng 5,7 MB.
Thời gian khởi chạyCó thể phải đợi mô hình tải xuống trước khi sử dụng lần đầu.Mô hình có sẵn ngay lập tức

Dùng thử

Trước khi bắt đầu

  1. Trong tệp build.gradle cấp dự án, hãy nhớ bao gồm Kho lưu trữ Maven trong cả hai phần buildscript và allprojects.

  2. Thêm các phần phụ thuộc cho thư viện Android Bộ công cụ học máy vào mô-đun của bạn tệp gradle cấp ứng dụng, thường là app/build.gradle. Chọn một trong số các phần phụ thuộc sau đây tuỳ theo nhu cầu của bạn:

    Để nhóm mô hình với ứng dụng của bạn:

    dependencies {
  // ...
  // Use this dependency to bundle the model with your app
  implementation 'com.google.mlkit:image-labeling:17.0.9'
}

    Cách sử dụng mô hình này trong Dịch vụ Google Play:

    dependencies {
  // ...
  // Use this dependency to use the dynamically downloaded model in Google Play Services
  implementation 'com.google.android.gms:play-services-mlkit-image-labeling:16.0.8'
}

  3. Nếu chọn sử dụng mô hình này trong Dịch vụ Google Play, bạn có thể định cấu hình ứng dụng của bạn để tự động tải mô hình xuống thiết bị sau khi ứng dụng đã cài đặt từ Cửa hàng Play. Để thực hiện việc này, hãy thêm nội dung khai báo sau vào tệp AndroidManifest.xml của ứng dụng:

    <application ...>
      ...
      <meta-data
          android:name="com.google.mlkit.vision.DEPENDENCIES"
          android:value="ica" >
      <!-- To use multiple models: android:value="ica,model2,model3" -->
</application>

    Bạn cũng có thể kiểm tra rõ ràng phạm vi cung cấp của mô hình và yêu cầu tải xuống thông qua ModuleInstallClient API của Dịch vụ Google Play.

    Nếu bạn không bật tính năng tải mô hình tại thời điểm cài đặt xuống hoặc không yêu cầu tải xuống một cách rõ ràng, mô hình sẽ được tải xuống trong lần đầu tiên bạn chạy trình gắn nhãn. Yêu cầu bạn đưa ra không có kết quả nào trước khi quá trình tải xuống hoàn tất.

Bây giờ, bạn đã sẵn sàng để gắn nhãn cho hình ảnh.

1. Chuẩn bị hình ảnh đầu vào

Tạo một đối tượng InputImage từ hình ảnh của bạn. Trình gắn nhãn hình ảnh chạy nhanh nhất khi bạn sử dụng Bitmap hoặc nếu bạn sử dụng camera2 API, YUV_420_888 media.Image được khuyến nghị khi nhất có thể.

Bạn có thể tạo một InputImage đối tượng từ các nguồn khác nhau, mỗi nguồn được giải thích ở bên dưới.

Sử dụng media.Image

Cách tạo InputImage từ đối tượng media.Image, chẳng hạn như khi bạn chụp ảnh từ một camera của thiết bị, hãy truyền đối tượng media.Image và xoay thành InputImage.fromMediaImage().

Nếu bạn sử dụng Thư viện CameraX, OnImageCapturedListener và Các lớp ImageAnalysis.Analyzer tính toán giá trị xoay cho bạn.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

Nếu không sử dụng thư viện máy ảnh cung cấp độ xoay của hình ảnh, bạn có thể tính tỷ lệ khung hình dựa trên độ xoay của thiết bị và hướng của máy ảnh cảm biến trong thiết bị:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}
MLKitVisionImage.kt

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

Sau đó, hãy truyền đối tượng media.Image và giá trị độ xoay thành InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

Sử dụng URI tệp

Cách tạo InputImage từ một URI tệp, hãy chuyển ngữ cảnh ứng dụng và URI tệp đến InputImage.fromFilePath(). Điều này rất hữu ích khi bạn sử dụng ý định ACTION_GET_CONTENT để nhắc người dùng chọn một bức ảnh trong ứng dụng thư viện của họ.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}
MLKitVisionImage.kt

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

Sử dụng ByteBuffer hoặc ByteArray

Cách tạo InputImage đối tượng từ ByteBuffer hoặc ByteArray, trước tiên hãy tính hình ảnh độ xoay như mô tả trước đây cho đầu vào media.Image. Sau đó, hãy tạo đối tượng InputImage bằng vùng đệm hoặc mảng, cùng với đối tượng chiều cao, chiều rộng, định dạng mã hoá màu và độ xoay:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)

MLKitVisionImage.kt

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java

// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java

Sử dụng Bitmap

Cách tạo InputImage qua đối tượng Bitmap, hãy khai báo sau:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
MLKitVisionImage.java

Hình ảnh được biểu thị bằng một đối tượng Bitmap cùng với độ xoay.

2. Định cấu hình và chạy công cụ gắn nhãn hình ảnh

Để gắn nhãn cho các đối tượng trong hình ảnh, hãy truyền đối tượng InputImage vào phương thức Phương thức process của ImageLabeler.

  1. Trước tiên, hãy lấy một phiên bản của ImageLabeler.

    Nếu bạn muốn sử dụng công cụ gắn nhãn hình ảnh trên thiết bị, hãy làm như sau khai báo:

Kotlin

// To use default options:
val labeler = ImageLabeling.getClient(ImageLabelerOptions.DEFAULT_OPTIONS)

// Or, to set the minimum confidence required:
// val options = ImageLabelerOptions.Builder()
//     .setConfidenceThreshold(0.7f)
//     .build()
// val labeler = ImageLabeling.getClient(options)

ImageLabelingActivity.kt

Java

// To use default options:
ImageLabeler labeler = ImageLabeling.getClient(ImageLabelerOptions.DEFAULT_OPTIONS);

// Or, to set the minimum confidence required:
// ImageLabelerOptions options =
//     new ImageLabelerOptions.Builder()
//         .setConfidenceThreshold(0.7f)
//         .build();
// ImageLabeler labeler = ImageLabeling.getClient(options);

ImageLabelingActivity.java
  1. Sau đó, hãy truyền hình ảnh đó vào phương thức process():

Kotlin

labeler.process(image)
        .addOnSuccessListener { labels ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // ...
        }
ImageLabelingActivity.kt

Java

labeler.process(image)
        .addOnSuccessListener(new OnSuccessListener<List<ImageLabel>>() {
            @Override
            public void onSuccess(List<ImageLabel> labels) {
                // Task completed successfully
                // ...
            }
        })
        .addOnFailureListener(new OnFailureListener() {
            @Override
            public void onFailure(@NonNull Exception e) {
                // Task failed with an exception
                // ...
            }
        });
ImageLabelingActivity.java

3. Nhận thông tin về đối tượng được gắn nhãn

Nếu thao tác gắn nhãn hình ảnh thành công, danh sách Các đối tượng ImageLabel được truyền đến trình nghe thành công. Một Đối tượng ImageLabel đại diện cho một nội dung đã được gắn nhãn trong hình ảnh. Cơ sở mô hình hỗ trợ hơn 400 nhãn khác nhau. Bạn có thể xem nội dung mô tả dạng văn bản, chỉ mục của từng nhãn trong số tất cả các nhãn mà mô hình và điểm số tin cậy của kết quả trùng khớp. Ví dụ:

Kotlin

for (label in labels) {
    val text = label.text
    val confidence = label.confidence
    val index = label.index
}
ImageLabelingActivity.kt

Java

for (ImageLabel label : labels) {
    String text = label.getText();
    float confidence = label.getConfidence();
    int index = label.getIndex();
}
ImageLabelingActivity.java

Mẹo cải thiện hiệu suất theo thời gian thực

Nếu bạn muốn gắn nhãn cho hình ảnh trong một ứng dụng theo thời gian thực, hãy làm theo các bước sau để đạt được tốc độ khung hình tốt nhất:

  • Nếu bạn sử dụng Camera hoặc API camera2, điều tiết lệnh gọi cho công cụ gắn nhãn hình ảnh. Nếu một video mới khung có sẵn trong khi trình gắn nhãn hình ảnh đang chạy, hãy thả khung đó. Xem Ví dụ về lớp VisionProcessorBase trong ứng dụng mẫu khởi động nhanh.
  • Nếu bạn sử dụng API CameraX, đảm bảo rằng chiến lược backpressure được đặt ở giá trị mặc định ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST. Việc này giúp đảm bảo mỗi lần hệ thống chỉ gửi một hình ảnh để phân tích. Nếu các hình ảnh khác được tạo khi trình phân tích bận, chúng sẽ tự động bị loại bỏ và không được đưa vào hàng đợi của bạn. Sau khi hình ảnh đang được phân tích được đóng bằng cách gọi ImageProxy.close(), hình ảnh mới nhất tiếp theo sẽ được gửi.
  • Nếu bạn sử dụng kết quả của công cụ gắn nhãn hình ảnh để phủ đồ hoạ lên hình ảnh đầu vào, trước tiên hãy lấy kết quả từ Bộ công cụ học máy, sau đó kết xuất hình ảnh và phủ lên trên trong một bước duy nhất. Kết xuất này hiển thị trên bề mặt màn hình một lần cho mỗi khung đầu vào. Xem CameraSourcePreview và Ví dụ về các lớp GraphicOverlay trong ứng dụng mẫu khởi động nhanh.
  • Nếu bạn sử dụng API Camera2, hãy chụp ảnh trong Định dạng ImageFormat.YUV_420_888. Nếu bạn sử dụng API Máy ảnh cũ, hãy chụp ảnh trong Định dạng ImageFormat.NV21.