Trang này được dịch bởi Cloud Translation API.

Phát hiện thông tin lưới khuôn mặt bằng Bộ công cụ học máy trên Android

Bạn có thể sử dụng Bộ công cụ học máy để phát hiện khuôn mặt trong hình ảnh và video tự chụp.

API phát hiện lưới khuôn mặt
Tên SDK	`face-mesh-detection`
Triển khai	Mã và tài sản được liên kết tĩnh với ứng dụng của bạn tại thời điểm tạo bản dựng.
Ảnh hưởng của kích thước ứng dụng	~6,4 MB
Hiệu suất	Theo thời gian thực trên hầu hết các thiết bị.

Dùng thử

Hãy thử nghiệm với ứng dụng mẫu để xem ví dụ về cách sử dụng API này.

Trước khi bắt đầu

API này yêu cầu Android API cấp 21 trở lên. Đảm bảo rằng tệp bản dựng của ứng dụng sử dụng giá trị minSdkVersion là 21 trở lên.

Trong tệp build.gradle cấp dự án, hãy nhớ thêm kho lưu trữ Maven của Google vào cả mục buildscript và allprojects.
Thêm phần phụ thuộc cho thư viện phát hiện lưới khuôn mặt của Bộ công cụ học máy vào tệp gradle cấp ứng dụng của mô-đun, thường là app/build.gradle:
```
dependencies {
 // ...

 implementation 'com.google.mlkit:face-mesh-detection:16.0.0-beta1'
}
```

Nguyên tắc về hình ảnh đầu vào

Bạn nên chụp ảnh trong phạm vi khoảng 2 mét (7 feet) từ máy ảnh của thiết bị để khuôn mặt đủ lớn để nhận dạng lưới khuôn mặt một cách tối ưu. Nhìn chung, khuôn mặt càng lớn thì khả năng nhận dạng lưới khuôn mặt càng tốt.
Khuôn mặt phải hướng về máy ảnh và ít nhất phải thấy được một nửa khuôn mặt. Mọi vật thể lớn nằm giữa khuôn mặt và máy ảnh đều có thể làm giảm độ chính xác.

Nếu muốn phát hiện khuôn mặt trong một ứng dụng theo thời gian thực, bạn cũng nên cân nhắc kích thước tổng thể của hình ảnh đầu vào. Hình ảnh nhỏ hơn có thể được xử lý nhanh hơn, vì vậy, việc chụp ảnh ở độ phân giải thấp hơn sẽ làm giảm độ trễ. Tuy nhiên, hãy lưu ý các yêu cầu về độ chính xác ở trên và đảm bảo rằng khuôn mặt của đối tượng chiếm nhiều không gian nhất có thể trong hình ảnh.

Định cấu hình trình phát hiện lưới khuôn mặt

Nếu bạn muốn thay đổi bất kỳ chế độ cài đặt mặc định nào của trình phát hiện lưới khuôn mặt, hãy chỉ định các chế độ cài đặt đó bằng đối tượng FaceMeshDetectorOptions. Bạn có thể thay đổi các chế độ cài đặt sau:

setUseCase
- BOUNDING_BOX_ONLY: Chỉ cung cấp hộp giới hạn cho lưới khuôn mặt được phát hiện. Đây là trình phát hiện khuôn mặt nhanh nhất, nhưng có giới hạn về phạm vi(khuôn mặt phải nằm trong phạm vi khoảng 2 mét hoặc 7 feet so với máy ảnh).
- FACE_MESH (tuỳ chọn mặc định): Cung cấp hộp giới hạn và thông tin bổ sung về lưới mặt (468 điểm 3D và thông tin tam giác). Khi so sánh với trường hợp sử dụng BOUNDING_BOX_ONLY, độ trễ tăng thêm khoảng 15%, như được đo trên Pixel 3.

Ví dụ:

Kotlin

val defaultDetector = FaceMeshDetection.getClient(
  FaceMeshDetectorOptions.DEFAULT_OPTIONS)

val boundingBoxDetector = FaceMeshDetection.getClient(
  FaceMeshDetectorOptions.Builder()
    .setUseCase(UseCase.BOUNDING_BOX_ONLY)
    .build()
)

Java

FaceMeshDetector defaultDetector =
        FaceMeshDetection.getClient(
                FaceMeshDetectorOptions.DEFAULT_OPTIONS);

FaceMeshDetector boundingBoxDetector = FaceMeshDetection.getClient(
        new FaceMeshDetectorOptions.Builder()
                .setUseCase(UseCase.BOUNDING_BOX_ONLY)
                .build()
        );

Chuẩn bị hình ảnh đầu vào

Để phát hiện khuôn mặt trong hình ảnh, hãy tạo đối tượng InputImage từ Bitmap, media.Image, ByteBuffer, mảng byte hoặc tệp trên thiết bị. Sau đó, truyền đối tượng InputImage vào phương thức process của FaceDetector.

Để phát hiện lưới khuôn mặt, bạn nên sử dụng hình ảnh có kích thước tối thiểu là 480x360 pixel. Nếu bạn đang phát hiện khuôn mặt theo thời gian thực, thì việc chụp khung hình ở độ phân giải tối thiểu này có thể giúp giảm độ trễ.

Bạn có thể tạo đối tượng InputImage từ nhiều nguồn, mỗi nguồn được giải thích bên dưới.

Sử dụng `media.Image`

Để tạo đối tượng InputImage từ đối tượng media.Image, chẳng hạn như khi bạn chụp ảnh từ máy ảnh của thiết bị, hãy truyền đối tượng media.Image và độ xoay của hình ảnh đến InputImage.fromMediaImage().

Nếu bạn sử dụng thư viện CameraX, các lớp OnImageCapturedListener và ImageAnalysis.Analyzer sẽ tính toán giá trị xoay cho bạn.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

Nếu không sử dụng thư viện máy ảnh cung cấp cho bạn độ xoay của hình ảnh, bạn có thể tính toán độ xoay đó từ độ xoay của thiết bị và hướng của cảm biến máy ảnh trong thiết bị:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}MLKitVisionImage.kt

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

Sau đó, truyền đối tượng media.Image và giá trị độ xoay vào InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

Sử dụng URI tệp

Để tạo đối tượng InputImage từ URI tệp, hãy truyền ngữ cảnh ứng dụng và URI tệp đến InputImage.fromFilePath(). Điều này hữu ích khi bạn sử dụng ý định ACTION_GET_CONTENT để nhắc người dùng chọn một hình ảnh trong ứng dụng thư viện.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}MLKitVisionImage.kt

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

Sử dụng `ByteBuffer` hoặc `ByteArray`

Để tạo đối tượng InputImage từ ByteBuffer hoặc ByteArray, trước tiên, hãy tính độ xoay hình ảnh như mô tả trước đó cho dữ liệu đầu vào media.Image. Sau đó, hãy tạo đối tượng InputImage bằng bộ nhớ đệm hoặc mảng, cùng với chiều cao, chiều rộng, định dạng mã hoá màu và độ xoay của hình ảnh:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java

Sử dụng `Bitmap`

Để tạo đối tượng InputImage từ đối tượng Bitmap, hãy khai báo như sau:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);MLKitVisionImage.java

Hình ảnh được biểu thị bằng đối tượng Bitmap cùng với độ xoay.

Xử lý hình ảnh

Truyền hình ảnh đến phương thức process:

Kotlin

val result = detector.process(image)
        .addOnSuccessListener { result ->
            // Task completed successfully
            // …
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // …
        }

Java

Task<List<FaceMesh>> result = detector.process(image)
        .addOnSuccessListener(
                new OnSuccessListener<List<FaceMesh>>() {
                    @Override
                    public void onSuccess(List<FaceMesh> result) {
                        // Task completed successfully
                        // …
                    }
                })
        .addOnFailureListener(
                new OnFailureListener() {
                    @Override
                    Public void onFailure(Exception e) {
                        // Task failed with an exception
                        // …
                    }
                });

Nhận thông tin về lưới khuôn mặt được phát hiện

Nếu phát hiện thấy khuôn mặt nào trong hình ảnh, danh sách đối tượng FaceMesh sẽ được truyền đến trình nghe thành công. Mỗi FaceMesh đại diện cho một khuôn mặt được phát hiện trong hình ảnh. Đối với mỗi lưới khuôn mặt, bạn có thể lấy toạ độ giới hạn của lưới đó trong hình ảnh đầu vào, cũng như mọi thông tin khác mà bạn đã định cấu hình trình phát hiện lưới khuôn mặt để tìm.

Kotlin

for (faceMesh in faceMeshs) {
    val bounds: Rect = faceMesh.boundingBox()

    // Gets all points
    val faceMeshpoints = faceMesh.allPoints
    for (faceMeshpoint in faceMeshpoints) {
      val index: Int = faceMeshpoints.index()
      val position = faceMeshpoint.position
    }

    // Gets triangle info
    val triangles: List<Triangle<FaceMeshPoint>> = faceMesh.allTriangles
    for (triangle in triangles) {
      // 3 Points connecting to each other and representing a triangle area.
      val connectedPoints = triangle.allPoints()
    }
}

Java

for (FaceMesh faceMesh : faceMeshs) {
    Rect bounds = faceMesh.getBoundingBox();

    // Gets all points
    List<FaceMeshPoint> faceMeshpoints = faceMesh.getAllPoints();
    for (FaceMeshPoint faceMeshpoint : faceMeshpoints) {
        int index = faceMeshpoints.getIndex();
        PointF3D position = faceMeshpoint.getPosition();
    }

    // Gets triangle info
    List<Triangle<FaceMeshPoint>> triangles = faceMesh.getAllTriangles();
    for (Triangle<FaceMeshPoint> triangle : triangles) {
        // 3 Points connecting to each other and representing a triangle area.
        List<FaceMeshPoint> connectedPoints = triangle.getAllPoints();
    }
}

Phát hiện thông tin lưới khuôn mặt bằng Bộ công cụ học máy trên Android

Dùng thử

Trước khi bắt đầu

Nguyên tắc về hình ảnh đầu vào

Định cấu hình trình phát hiện lưới khuôn mặt

Kotlin

Java

Chuẩn bị hình ảnh đầu vào

Sử dụng media.Image

Kotlin

Java

Kotlin

Java

Kotlin

Java

Sử dụng URI tệp

Kotlin

Java

Sử dụng ByteBuffer hoặc ByteArray

Kotlin

Java

Sử dụng Bitmap

Kotlin

Java

Xử lý hình ảnh

Kotlin

Java

Nhận thông tin về lưới khuôn mặt được phát hiện

Kotlin

Java

Sử dụng `media.Image`

Sử dụng `ByteBuffer` hoặc `ByteArray`

Sử dụng `Bitmap`