此页面由 Cloud Translation API 翻译。

使用机器学习套件检测姿势 (iOS)

机器学习套件为姿势检测提供了两个经过优化的 SDK。

SDK 名称	PoseDetection	PoseDetectionAccurate
实现	基础检测器的资源在构建时静态关联到您的应用。	在构建时，用于准确检测器的资源会静态关联到您的应用。
应用大小	大小上限为 29.6MB	大小上限为 33.2 MB
性能	iPhone X：约 45FPS	iPhone X：约 29FPS

试试看

您可以试用示例应用，查看此 API 的用法示例。

准备工作

在 Podfile 中添加以下机器学习套件 Pod：

# If you want to use the base implementation:
pod 'GoogleMLKit/PoseDetection', '3.2.0'

# If you want to use the accurate implementation:
pod 'GoogleMLKit/PoseDetectionAccurate', '3.2.0'

安装或更新项目的 Pod 后，请使用 Xcode 项目的 xcworkspace 来打开项目。Xcode 13.2.1 或更高版本支持机器学习套件。

1. 创建 `PoseDetector` 实例

如需检测图片中的姿势，请先创建一个 PoseDetector 实例，然后（可选）指定检测器设置。

`PoseDetector` 个选项

检测模式

PoseDetector 可在两种检测模式下运行。请务必选择与您的用例。

stream（默认）: 姿势检测器将最先检测到然后运行姿势检测。在随后的帧中只有相关人员符合要求，被遮挡或不再具有高置信度的检测。姿势检测器将尝试跟踪最重要的人，并返回每个人物的姿势推理。这可以缩短延迟时间并顺畅地检测。在以下情况下使用此模式：想要在视频流中检测姿势。
singleImage: 姿势检测器将先检测人，然后运行姿势检测。我们将对每张图片执行人物检测步骤，因此延迟时间而且没有人员追踪功能。使用姿势时使用此模式对静态图片或不需要进行跟踪的情况进行检测。

指定姿势检测器选项：

Swift

// Base pose detector with streaming, when depending on the PoseDetection SDK
let options = PoseDetectorOptions()
options.detectorMode = .stream

// Accurate pose detector on static images, when depending on the
// PoseDetectionAccurate SDK
let options = AccuratePoseDetectorOptions()
options.detectorMode = .singleImage

Objective-C

// Base pose detector with streaming, when depending on the PoseDetection SDK
MLKPoseDetectorOptions *options = [[MLKPoseDetectorOptions alloc] init];
options.detectorMode = MLKPoseDetectorModeStream;

// Accurate pose detector on static images, when depending on the
// PoseDetectionAccurate SDK
MLKAccuratePoseDetectorOptions *options =
    [[MLKAccuratePoseDetectorOptions alloc] init];
options.detectorMode = MLKPoseDetectorModeSingleImage;

最后，获取 PoseDetector 的一个实例。传递您指定的选项：

Swift

let poseDetector = PoseDetector.poseDetector(options: options)

Objective-C

MLKPoseDetector *poseDetector =
    [MLKPoseDetector poseDetectorWithOptions:options];

2. 准备输入图片

如需检测姿势，请对每个图片或视频帧执行以下操作。如果您启用了流模式，则必须从VisionImage CMSampleBuffer。

使用 UIImage 或VisionImage CMSampleBuffer。

如果您使用 UIImage，请按以下步骤操作：

使用 UIImage 创建一个 VisionImage 对象。请务必指定正确的 .orientation。

Swift

let image = VisionImage(image: UIImage)
visionImage.orientation = image.imageOrientation

Objective-C

MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image];
visionImage.orientation = image.imageOrientation;

如果您使用 CMSampleBuffer，请按以下步骤操作：

指定 CMSampleBuffer。

如需获取图片方向，请执行以下操作：

Swift

func imageOrientation(
  deviceOrientation: UIDeviceOrientation,
  cameraPosition: AVCaptureDevice.Position
) -> UIImage.Orientation {
  switch deviceOrientation {
  case .portrait:
    return cameraPosition == .front ? .leftMirrored : .right
  case .landscapeLeft:
    return cameraPosition == .front ? .downMirrored : .up
  case .portraitUpsideDown:
    return cameraPosition == .front ? .rightMirrored : .left
  case .landscapeRight:
    return cameraPosition == .front ? .upMirrored : .down
  case .faceDown, .faceUp, .unknown:
    return .up
  }
}

Objective-C

- (UIImageOrientation)
  imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                         cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored
                                                            : UIImageOrientationRight;

    case UIDeviceOrientationLandscapeLeft:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored
                                                            : UIImageOrientationUp;
    case UIDeviceOrientationPortraitUpsideDown:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored
                                                            : UIImageOrientationLeft;
    case UIDeviceOrientationLandscapeRight:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored
                                                            : UIImageOrientationDown;
    case UIDeviceOrientationUnknown:
    case UIDeviceOrientationFaceUp:
    case UIDeviceOrientationFaceDown:
      return UIImageOrientationUp;
  }
}

使用VisionImage CMSampleBuffer 对象和方向：

Swift

let image = VisionImage(buffer: sampleBuffer)
image.orientation = imageOrientation(
  deviceOrientation: UIDevice.current.orientation,
  cameraPosition: cameraPosition)

Objective-C

 MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer];
 image.orientation =
   [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                cameraPosition:cameraPosition];

3. 处理图片

将 VisionImage 传递给姿势检测器的图片处理方法之一。您可以使用异步 process(image:) 方法或同步 results() 方法。

如需同步检测对象，请执行以下操作：

Swift

var results: [Pose]
do {
  results = try poseDetector.results(in: image)
} catch let error {
  print("Failed to detect pose with error: \(error.localizedDescription).")
  return
}
guard let detectedPoses = results, !detectedPoses.isEmpty else {
  print("Pose detector returned no results.")
  return
}

// Success. Get pose landmarks here.

Objective-C

NSError *error;
NSArray *poses = [poseDetector resultsInImage:image error:&error];
if (error != nil) {
  // Error.
  return;
}
if (poses.count == 0) {
  // No pose detected.
  return;
}

// Success. Get pose landmarks here.

要异步检测对象，请执行以下操作：

Swift

poseDetector.process(image) { detectedPoses, error in
  guard error == nil else {
    // Error.
    return
  }
  guard !detectedPoses.isEmpty else {
    // No pose detected.
    return
  }

  // Success. Get pose landmarks here.
}

Objective-C

[poseDetector processImage:image
                completion:^(NSArray * _Nullable poses,
                             NSError * _Nullable error) {
                    if (error != nil) {
                      // Error.
                      return;
                    }
                    if (poses.count == 0) {
                      // No pose detected.
                      return;
                    }

                    // Success. Get pose landmarks here.
                  }];

4. 获取有关检测到的姿势的信息

如果在图片中检测到人物，姿势检测 API 会传递一个将 Pose 对象数组传递给完成处理程序或返回该数组；具体取决于您调用的是异步方法还是同步方法。

如果人物未完全入镜，模型就会将缺失的地标会坐标显示在帧外，并赋予它们较低的位置， InFrameConfidence 值。

如果未检测到人员，则数组为空。

Swift

for pose in detectedPoses {
  let leftAnkleLandmark = pose.landmark(ofType: .leftAnkle)
  if leftAnkleLandmark.inFrameLikelihood > 0.5 {
    let position = leftAnkleLandmark.position
  }
}

Objective-C

for (MLKPose *pose in detectedPoses) {
  MLKPoseLandmark *leftAnkleLandmark =
      [pose landmarkOfType:MLKPoseLandmarkTypeLeftAnkle];
  if (leftAnkleLandmark.inFrameLikelihood > 0.5) {
    MLKVision3DPoint *position = leftAnkleLandmark.position;
  }
}

效果提升技巧

结果的质量取决于输入图片的质量：

为了让机器学习套件准确检测姿势，图片中的人应该用足够的像素数据表示；为获得最佳效果，主题应该不小于 256x256 像素。
如果在实时应用中检测姿势，可能还需要考虑输入图片的整体尺寸。系统可以处理较小的图片因此为了缩短延迟时间，请以较低的分辨率捕获图片注意上述分辨率要求，并确保主题尽可能多地显示图片
图片聚焦不佳也会影响准确性。如果您没有得到可接受的结果要求用户重新拍摄图片

如果要在实时应用中使用姿势检测，请遵循以下准则以实现最佳帧速率：

使用基本 PoseDetection SDK 和 stream 检测模式。
建议以较低的分辨率捕获图片。但是，您也要牢记此 API 的图片尺寸要求。
如需处理视频帧，请使用检测器的 results(in:) 同步 API。从 AVCaptureVideoDataOutputSampleBufferDelegate 的 captureOutput(_, didOutput:from:) 函数同步给定视频帧的结果。将 AVCaptureVideoDataOutput 的 alwaysDiscardsLateVideoFrames 设为 true，以限制对检测器的调用。如果在检测器运行时有新的视频帧可用，该帧会被丢弃。
如果使用检测器的输出在输入图片上叠加图形，请先从机器学习套件获取结果，然后在一个步骤中渲染该图片并进行叠加。这样，您只为每个已处理的输入帧渲染到显示 Surface 一次。请参阅 previewOverlayView 和 MLKDetectionOverlayView 类作为示例。

后续步骤

如需了解如何使用姿势特征点对姿势进行分类，请参阅姿势分类提示。
请查看 GitHub 上的机器学习套件快速入门示例，获取使用此 API 的相关示例。

使用机器学习套件检测姿势 (iOS)

试试看

准备工作

1. 创建 PoseDetector 实例

PoseDetector 个选项

检测模式

Swift

Objective-C

Swift

Objective-C

2. 准备输入图片

Swift

Objective-C

Swift

Objective-C

Swift

Objective-C

3. 处理图片

Swift

Objective-C

Swift

Objective-C

4. 获取有关检测到的姿势的信息

Swift

Objective-C

效果提升技巧

后续步骤

1. 创建 `PoseDetector` 实例

`PoseDetector` 个选项