Détecter des postures avec ML Kit sur iOS

ML Kit fournit deux SDK optimisés pour la détection de postures.

Essayer

• Testez l'application exemple pour voir un exemple d'utilisation de cette API.

Avant de commencer

1. Incluez les pods ML Kit suivants dans votre Podfile :

   # If you want to use the base implementation:
   pod 'GoogleMLKit/PoseDetection', '8.0.0'
   
   # If you want to use the accurate implementation:
   pod 'GoogleMLKit/PoseDetectionAccurate', '8.0.0'
   

2. Après avoir installé ou mis à jour les pods de votre projet, ouvrez votre projet Xcode à l'aide de son fichier xcworkspace. ML Kit est compatible avec Xcode 13.2.1 ou version ultérieure.

1. Créer une instance de PoseDetector

Pour détecter une pose dans une image, commencez par créer une instance de PoseDetector et, si vous le souhaitez, spécifiez les paramètres du détecteur.

Options PoseDetector

Mode de détection

PoseDetector fonctionne selon deux modes de détection. Veillez à choisir celui qui correspond à votre cas d'utilisation.

stream (par défaut)

Le détecteur de poses détecte d'abord la personne la plus visible dans l'image, puis exécute la détection de poses. Dans les images suivantes, l'étape de détection de personnes ne sera pas effectuée, sauf si la personne est masquée ou n'est plus détectée avec un niveau de confiance élevé. Le détecteur de postures tente de suivre la personne la plus visible et de renvoyer sa posture à chaque inférence. Cela réduit la latence et fluidifie la détection. Utilisez ce mode lorsque vous souhaitez détecter une pose dans un flux vidéo.

singleImage

Le détecteur de poses détecte une personne, puis exécute la détection de poses. L'étape de détection de personnes s'exécute pour chaque image, ce qui augmente la latence. De plus, il n'y a pas de suivi des personnes. Utilisez ce mode lorsque vous utilisez la détection de postures sur des images statiques ou lorsque le suivi n'est pas souhaité.

Spécifiez les options du détecteur de postures :

// Base pose detector with streaming, when depending on the PoseDetection SDK
let options = PoseDetectorOptions()
options.detectorMode = .stream

// Accurate pose detector on static images, when depending on the
// PoseDetectionAccurate SDK
let options = AccuratePoseDetectorOptions()
options.detectorMode = .singleImage

// Base pose detector with streaming, when depending on the PoseDetection SDK
MLKPoseDetectorOptions *options = [[MLKPoseDetectorOptions alloc] init];
options.detectorMode = MLKPoseDetectorModeStream;

// Accurate pose detector on static images, when depending on the
// PoseDetectionAccurate SDK
MLKAccuratePoseDetectorOptions *options =
    [[MLKAccuratePoseDetectorOptions alloc] init];
options.detectorMode = MLKPoseDetectorModeSingleImage;

Enfin, obtenez une instance de PoseDetector. Transmettez les options que vous avez spécifiées :

let poseDetector = PoseDetector.poseDetector(options: options)

MLKPoseDetector *poseDetector =
    [MLKPoseDetector poseDetectorWithOptions:options];

2. Préparer l'image d'entrée

Pour détecter des poses, procédez comme suit pour chaque image ou frame de vidéo. Si vous avez activé le mode flux, vous devez créer des objets VisionImage à partir de CMSampleBuffer.

Créez un objet VisionImage à l'aide d'un UIImage ou d'un CMSampleBuffer.

Si vous utilisez un UIImage, procédez comme suit :

• Créez un objet VisionImage avec UIImage. Veillez à spécifier le bon .orientation.

  Swift

  let image = VisionImage(image: UIImage)
  visionImage.orientation = image.imageOrientation

  Objective-C

  MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image];
  visionImage.orientation = image.imageOrientation;

Si vous utilisez un CMSampleBuffer, procédez comme suit :

• Spécifiez l'orientation des données d'image contenues dans CMSampleBuffer.

  Pour obtenir l'orientation de l'image :

  Swift

  func imageOrientation(
    deviceOrientation: UIDeviceOrientation,
    cameraPosition: AVCaptureDevice.Position
  ) -> UIImage.Orientation {
    switch deviceOrientation {
    case .portrait:
      return cameraPosition == .front ? .leftMirrored : .right
    case .landscapeLeft:
      return cameraPosition == .front ? .downMirrored : .up
    case .portraitUpsideDown:
      return cameraPosition == .front ? .rightMirrored : .left
    case .landscapeRight:
      return cameraPosition == .front ? .upMirrored : .down
    case .faceDown, .faceUp, .unknown:
      return .up
    }
  }
        

  Objective-C

  - (UIImageOrientation)
    imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                           cameraPosition:(AVCaptureDevicePosition)cameraPosition {
    switch (deviceOrientation) {
      case UIDeviceOrientationPortrait:
        return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored
                                                              : UIImageOrientationRight;
  
      case UIDeviceOrientationLandscapeLeft:
        return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored
                                                              : UIImageOrientationUp;
      case UIDeviceOrientationPortraitUpsideDown:
        return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored
                                                              : UIImageOrientationLeft;
      case UIDeviceOrientationLandscapeRight:
        return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored
                                                              : UIImageOrientationDown;
      case UIDeviceOrientationUnknown:
      case UIDeviceOrientationFaceUp:
      case UIDeviceOrientationFaceDown:
        return UIImageOrientationUp;
    }
  }
        

• Créez un objet VisionImage à l'aide de l'objet CMSampleBuffer et de l'orientation :

  Swift

  let image = VisionImage(buffer: sampleBuffer)
  image.orientation = imageOrientation(
    deviceOrientation: UIDevice.current.orientation,
    cameraPosition: cameraPosition)

  Objective-C

   MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer];
   image.orientation =
     [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                  cameraPosition:cameraPosition];

3. Traiter l'image

Transmettez l'objet VisionImage à l'une des méthodes de traitement d'image du détecteur de postures. Vous pouvez utiliser la méthode asynchrone process(image:) ou la méthode synchrone results().

Pour détecter des objets de manière synchrone :

var results: [Pose]
do {
  results = try poseDetector.results(in: image)
} catch let error {
  print("Failed to detect pose with error: \(error.localizedDescription).")
  return
}
guard let detectedPoses = results, !detectedPoses.isEmpty else {
  print("Pose detector returned no results.")
  return
}

// Success. Get pose landmarks here.

NSError *error;
NSArray *poses = [poseDetector resultsInImage:image error:&error];
if (error != nil) {
  // Error.
  return;
}
if (poses.count == 0) {
  // No pose detected.
  return;
}

// Success. Get pose landmarks here.

Pour détecter des objets de manière asynchrone :

poseDetector.process(image) { detectedPoses, error in
  guard error == nil else {
    // Error.
    return
  }
  guard !detectedPoses.isEmpty else {
    // No pose detected.
    return
  }

  // Success. Get pose landmarks here.
}

[poseDetector processImage:image
                completion:^(NSArray * _Nullable poses,
                             NSError * _Nullable error) {
                    if (error != nil) {
                      // Error.
                      return;
                    }
                    if (poses.count == 0) {
                      // No pose detected.
                      return;
                    }

                    // Success. Get pose landmarks here.
                  }];

4. Obtenir des informations sur la pose détectée

Si une personne est détectée dans l'image, l'API Pose Detection transmet un tableau d'objets Pose au gestionnaire d'achèvement ou renvoie le tableau, selon que vous avez appelé la méthode asynchrone ou synchrone.

Si la personne n'était pas complètement dans l'image, le modèle attribue les coordonnées des points de repère manquants en dehors du cadre et leur attribue des valeurs InFrameConfidence faibles.

Si aucune personne n'a été détectée, le tableau est vide.

for pose in detectedPoses {
  let leftAnkleLandmark = pose.landmark(ofType: .leftAnkle)
  if leftAnkleLandmark.inFrameLikelihood > 0.5 {
    let position = leftAnkleLandmark.position
  }
}

for (MLKPose *pose in detectedPoses) {
  MLKPoseLandmark *leftAnkleLandmark =
      [pose landmarkOfType:MLKPoseLandmarkTypeLeftAnkle];
  if (leftAnkleLandmark.inFrameLikelihood > 0.5) {
    MLKVision3DPoint *position = leftAnkleLandmark.position;
  }
}

Conseils pour améliorer les performances

La qualité des résultats dépend de la qualité de l'image d'entrée :

• Pour que ML Kit détecte précisément la pose, la personne sur l'image doit être représentée par suffisamment de données de pixels. Pour des performances optimales, le sujet doit faire au moins 256 x 256 pixels.
• Si vous détectez une pose dans une application en temps réel, vous pouvez également prendre en compte les dimensions globales des images d'entrée. Les images plus petites peuvent être traitées plus rapidement. Pour réduire la latence, capturez des images à des résolutions inférieures, mais gardez à l'esprit les exigences de résolution ci-dessus et assurez-vous que le sujet occupe la plus grande partie possible de l'image.
• Une mauvaise mise au point de l'image peut également avoir un impact sur la précision. Si vous n'obtenez pas de résultats acceptables, demandez à l'utilisateur de reprendre l'image.

Si vous souhaitez utiliser la détection de poses dans une application en temps réel, suivez ces consignes pour obtenir les meilleurs fréquences d'images :

• Utilisez le SDK PoseDetection de base et le mode de détection stream.
• Envisagez de capturer des images à une résolution inférieure. Toutefois, gardez également à l'esprit les exigences de cette API concernant les dimensions des images.
• Pour traiter des images vidéo, utilisez l'API synchrone results(in:) du détecteur. Appelez cette méthode à partir de la fonction captureOutput(_, didOutput:from:) de AVCaptureVideoDataOutputSampleBufferDelegate pour obtenir de manière synchrone les résultats de l'image vidéo donnée. Conservez la valeur "true" pour alwaysDiscardsLateVideoFrames de AVCaptureVideoDataOutput afin de limiter les appels au détecteur. Si une nouvelle image vidéo devient disponible pendant l'exécution du détecteur, elle sera supprimée.
• Si vous utilisez la sortie du détecteur pour superposer des éléments graphiques sur l'image d'entrée, commencez par obtenir le résultat de ML Kit, puis affichez l'image et la superposition en une seule étape. De cette façon, vous n'effectuez le rendu sur la surface d'affichage qu'une seule fois pour chaque image d'entrée traitée. Pour obtenir un exemple, consultez les classes previewOverlayView et MLKDetectionOverlayView dans l'application exemple de démonstration.

Étapes suivantes

• Pour savoir comment utiliser les repères de pose pour classer les poses, consultez Conseils pour la classification des poses.
• Pour voir un exemple d'utilisation de cette API, consultez l'exemple de démarrage rapide de ML Kit sur GitHub.