Zestaw ML Kit zawiera 2 zoptymalizowane pakiety SDK do wykrywania pozycji.
| Nazwa pakietu SDK | pose-detection | pose-detection-accurate |
|---|---|---|
| Implementacja | Kod i zasoby są statycznie połączone z aplikacją podczas kompilacji. | Kod i zasoby są statycznie połączone z aplikacją podczas kompilacji. |
| Wpływ na rozmiar aplikacji (w tym kod i zasoby) | ~10,1 MB | ~13,3 MB |
| Wydajność | Pixel 3XL: ~30 kl./s | Pixel 3XL: ~23 kl./s z CPU, ~30 kl./s z GPU |
Wypróbuj
- Wypróbuj przykładową aplikację, aby zobaczyć, jak można używać tego interfejsu API.
Zanim zaczniesz
- W pliku
build.gradlena poziomie projektu dodaj repozytorium Google Maven w sekcjachbuildscriptiallprojects. Dodaj zależności dla bibliotek ML Kit na Androida do pliku gradle na poziomie aplikacji modułu, który zwykle ma nazwę
app/build.gradle:dependencies { // If you want to use the base sdk implementation 'com.google.mlkit:pose-detection:18.0.0-beta5' // If you want to use the accurate sdk implementation 'com.google.mlkit:pose-detection-accurate:18.0.0-beta5' }
1. Utwórz instancję PoseDetector
Opcje: PoseDetector
Aby wykryć pozę na obrazie, najpierw utwórz instancję PoseDetector i opcjonalnie określ ustawienia detektora.
Tryb wykrywania
PoseDetector działa w 2 trybach wykrywania. Wybierz model, który najlepiej odpowiada Twojemu zastosowaniu.
STREAM_MODE(domyślnie)- Detektor pozy najpierw wykryje najbardziej widoczną osobę na obrazie, a następnie uruchomi wykrywanie pozy. W kolejnych klatkach wykrywanie osób nie będzie przeprowadzane, chyba że osoba zostanie zasłonięta lub nie będzie już wykrywana z wysokim poziomem ufności. Detektor pozycji będzie próbował śledzić najbardziej widoczną osobę i zwracać jej pozycję w każdym wnioskowaniu. Zmniejsza to opóźnienie i usprawnia wykrywanie. Użyj tego trybu, gdy chcesz wykryć pozę w strumieniu wideo.
SINGLE_IMAGE_MODE- Detektor pozycji wykryje osobę, a następnie uruchomi wykrywanie pozycji. Krok wykrywania osób będzie wykonywany w przypadku każdego obrazu, więc czas oczekiwania będzie dłuższy i nie będzie śledzenia osób. Używaj tego trybu, gdy wykrywasz pozycję na obrazach statycznych lub gdy śledzenie nie jest pożądane.
Konfiguracja sprzętu
PoseDetector obsługuje wiele konfiguracji sprzętowych, które pozwalają zoptymalizować wydajność:
CPU: uruchom detektor, używając tylko procesora.CPU_GPU: uruchom detektor, używając zarówno procesora, jak i GPU.
Podczas tworzenia opcji detektora możesz użyć interfejsu API setPreferredHardwareConfigs, aby kontrolować wybór sprzętu. Domyślnie wszystkie konfiguracje sprzętowe są ustawione jako preferowane.
Zestaw ML Kit weźmie pod uwagę dostępność, stabilność, poprawność i czas oczekiwania każdej konfiguracji i wybierze najlepszą z preferowanych konfiguracji. Jeśli nie można zastosować żadnej z preferowanych konfiguracji, automatycznie zostanie użyta konfiguracja CPU jako zastępcza. Zestaw ML Kit przeprowadzi te testy i powiązane przygotowania w sposób nieblokujący, zanim włączy przyspieszenie, więc najprawdopodobniej przy pierwszym uruchomieniu detektora przez użytkownika zostanie użyty CPU. Po zakończeniu przygotowań najlepsza konfiguracja będzie używana w kolejnych uruchomieniach.
Przykłady użycia setPreferredHardwareConfigs:
- Aby pozwolić ML Kit wybrać najlepszą konfigurację, nie wywołuj tego interfejsu API.
- Jeśli nie chcesz włączać żadnego przyspieszenia, przekaż tylko
CPU. - Jeśli chcesz używać GPU do odciążenia procesora, nawet jeśli GPU może być wolniejszy, przekaż tylko
CPU_GPU.
Określ opcje detektora pozycji:
Kotlin
// Base pose detector with streaming frames, when depending on the pose-detection sdk val options = PoseDetectorOptions.Builder() .setDetectorMode(PoseDetectorOptions.STREAM_MODE) .build() // Accurate pose detector on static images, when depending on the pose-detection-accurate sdk val options = AccuratePoseDetectorOptions.Builder() .setDetectorMode(AccuratePoseDetectorOptions.SINGLE_IMAGE_MODE) .build()
Java
// Base pose detector with streaming frames, when depending on the pose-detection sdk PoseDetectorOptions options = new PoseDetectorOptions.Builder() .setDetectorMode(PoseDetectorOptions.STREAM_MODE) .build(); // Accurate pose detector on static images, when depending on the pose-detection-accurate sdk AccuratePoseDetectorOptions options = new AccuratePoseDetectorOptions.Builder() .setDetectorMode(AccuratePoseDetectorOptions.SINGLE_IMAGE_MODE) .build();
Na koniec utwórz instancję PoseDetector. Przekaż określone opcje:
Kotlin
val poseDetector = PoseDetection.getClient(options)
Java
PoseDetector poseDetector = PoseDetection.getClient(options);
2. Przygotowywanie obrazu wejściowego
Aby wykryć pozy na obrazie, utwórz obiekt InputImage z obiektu Bitmap, media.Image, ByteBuffer, tablicy bajtów lub pliku na urządzeniu. Następnie przekaż obiekt InputImage do PoseDetector.
Do wykrywania pozycji należy użyć obrazu o wymiarach co najmniej 480 × 360 pikseli. Jeśli wykrywasz pozy w czasie rzeczywistym, przechwytywanie klatek w tej minimalnej rozdzielczości może pomóc w zmniejszeniu opóźnienia.
Obiekt InputImage możesz utworzyć z różnych źródeł, które opisujemy poniżej.
Korzystanie z urządzenia media.Image
Aby utworzyć obiekt InputImage z obiektu media.Image, np. gdy robisz zdjęcie aparatem urządzenia, przekaż obiekt media.Image i obrót obrazu do InputImage.fromMediaImage().
Jeśli używasz biblioteki
CameraX, klasy OnImageCapturedListener i ImageAnalysis.Analyzer obliczają wartość obrotu za Ciebie.
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy) { val mediaImage = imageProxy.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { Image mediaImage = imageProxy.getImage(); if (mediaImage != null) { InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // ... } } }
Jeśli nie używasz biblioteki aparatu, która podaje stopień obrotu obrazu, możesz go obliczyć na podstawie stopnia obrotu urządzenia i orientacji czujnika aparatu w urządzeniu:
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 0) ORIENTATIONS.append(Surface.ROTATION_90, 90) ORIENTATIONS.append(Surface.ROTATION_180, 180) ORIENTATIONS.append(Surface.ROTATION_270, 270) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // Get the device's sensor orientation. val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360 } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360 } return rotationCompensation }
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360; } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; } return rotationCompensation; }
Następnie przekaż obiekt media.Image i wartość stopnia obrotu do InputImage.fromMediaImage():
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
Za pomocą identyfikatora URI pliku
Aby utworzyć obiekt InputImage z identyfikatora URI pliku, przekaż kontekst aplikacji i identyfikator URI pliku do InputImage.fromFilePath(). Jest to przydatne, gdy używasz intencji ACTION_GET_CONTENT, aby poprosić użytkownika o wybranie obrazu z aplikacji galerii.
Kotlin
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
Za pomocą ByteBuffer lub ByteArray
Aby utworzyć obiekt InputImage z ByteBuffer lub ByteArray, najpierw oblicz stopień obrotu obrazu, jak opisano wcześniej w przypadku danych wejściowych media.Image.
Następnie utwórz obiekt InputImage z buforem lub tablicą oraz wysokością, szerokością, formatem kodowania kolorów i stopniem obrotu obrazu:
Kotlin
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) // Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ); // Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
Korzystanie z urządzenia Bitmap
Aby utworzyć obiekt InputImage z obiektu Bitmap, utwórz tę deklarację:
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
Obraz jest reprezentowany przez obiekt Bitmap wraz z liczbą stopni obrotu.
3. Przetwarzanie obrazu
Przekaż przygotowany obiekt InputImage do metody process klasy PoseDetector.
Kotlin
Task<Pose> result = poseDetector.process(image)
.addOnSuccessListener { results ->
// Task completed successfully
// ...
}
.addOnFailureListener { e ->
// Task failed with an exception
// ...
}Java
Task<Pose> result = poseDetector.process(image) .addOnSuccessListener( new OnSuccessListener<Pose>() { @Override public void onSuccess(Pose pose) { // Task completed successfully // ... } }) .addOnFailureListener( new OnFailureListener() { @Override public void onFailure(@NonNull Exception e) { // Task failed with an exception // ... } });
4. Uzyskiwanie informacji o wykrytej pozie
Jeśli na obrazie zostanie wykryta osoba, interfejs API do wykrywania pozycji zwraca obiekt Pose z 33 PoseLandmark.
Jeśli osoba nie znajdowała się całkowicie w kadrze, model przypisuje brakujące współrzędne punktów orientacyjnych poza kadr i nadaje im niskie wartości InFrameConfidence.
Jeśli w kadrze nie wykryto żadnej osoby, obiekt Pose nie zawiera żadnych elementów PoseLandmark.
Kotlin
// Get all PoseLandmarks. If no person was detected, the list will be empty val allPoseLandmarks = pose.getAllPoseLandmarks() // Or get specific PoseLandmarks individually. These will all be null if no person // was detected val leftShoulder = pose.getPoseLandmark(PoseLandmark.LEFT_SHOULDER) val rightShoulder = pose.getPoseLandmark(PoseLandmark.RIGHT_SHOULDER) val leftElbow = pose.getPoseLandmark(PoseLandmark.LEFT_ELBOW) val rightElbow = pose.getPoseLandmark(PoseLandmark.RIGHT_ELBOW) val leftWrist = pose.getPoseLandmark(PoseLandmark.LEFT_WRIST) val rightWrist = pose.getPoseLandmark(PoseLandmark.RIGHT_WRIST) val leftHip = pose.getPoseLandmark(PoseLandmark.LEFT_HIP) val rightHip = pose.getPoseLandmark(PoseLandmark.RIGHT_HIP) val leftKnee = pose.getPoseLandmark(PoseLandmark.LEFT_KNEE) val rightKnee = pose.getPoseLandmark(PoseLandmark.RIGHT_KNEE) val leftAnkle = pose.getPoseLandmark(PoseLandmark.LEFT_ANKLE) val rightAnkle = pose.getPoseLandmark(PoseLandmark.RIGHT_ANKLE) val leftPinky = pose.getPoseLandmark(PoseLandmark.LEFT_PINKY) val rightPinky = pose.getPoseLandmark(PoseLandmark.RIGHT_PINKY) val leftIndex = pose.getPoseLandmark(PoseLandmark.LEFT_INDEX) val rightIndex = pose.getPoseLandmark(PoseLandmark.RIGHT_INDEX) val leftThumb = pose.getPoseLandmark(PoseLandmark.LEFT_THUMB) val rightThumb = pose.getPoseLandmark(PoseLandmark.RIGHT_THUMB) val leftHeel = pose.getPoseLandmark(PoseLandmark.LEFT_HEEL) val rightHeel = pose.getPoseLandmark(PoseLandmark.RIGHT_HEEL) val leftFootIndex = pose.getPoseLandmark(PoseLandmark.LEFT_FOOT_INDEX) val rightFootIndex = pose.getPoseLandmark(PoseLandmark.RIGHT_FOOT_INDEX) val nose = pose.getPoseLandmark(PoseLandmark.NOSE) val leftEyeInner = pose.getPoseLandmark(PoseLandmark.LEFT_EYE_INNER) val leftEye = pose.getPoseLandmark(PoseLandmark.LEFT_EYE) val leftEyeOuter = pose.getPoseLandmark(PoseLandmark.LEFT_EYE_OUTER) val rightEyeInner = pose.getPoseLandmark(PoseLandmark.RIGHT_EYE_INNER) val rightEye = pose.getPoseLandmark(PoseLandmark.RIGHT_EYE) val rightEyeOuter = pose.getPoseLandmark(PoseLandmark.RIGHT_EYE_OUTER) val leftEar = pose.getPoseLandmark(PoseLandmark.LEFT_EAR) val rightEar = pose.getPoseLandmark(PoseLandmark.RIGHT_EAR) val leftMouth = pose.getPoseLandmark(PoseLandmark.LEFT_MOUTH) val rightMouth = pose.getPoseLandmark(PoseLandmark.RIGHT_MOUTH)
Java
// Get all PoseLandmarks. If no person was detected, the list will be empty List<PoseLandmark> allPoseLandmarks = pose.getAllPoseLandmarks(); // Or get specific PoseLandmarks individually. These will all be null if no person // was detected PoseLandmark leftShoulder = pose.getPoseLandmark(PoseLandmark.LEFT_SHOULDER); PoseLandmark rightShoulder = pose.getPoseLandmark(PoseLandmark.RIGHT_SHOULDER); PoseLandmark leftElbow = pose.getPoseLandmark(PoseLandmark.LEFT_ELBOW); PoseLandmark rightElbow = pose.getPoseLandmark(PoseLandmark.RIGHT_ELBOW); PoseLandmark leftWrist = pose.getPoseLandmark(PoseLandmark.LEFT_WRIST); PoseLandmark rightWrist = pose.getPoseLandmark(PoseLandmark.RIGHT_WRIST); PoseLandmark leftHip = pose.getPoseLandmark(PoseLandmark.LEFT_HIP); PoseLandmark rightHip = pose.getPoseLandmark(PoseLandmark.RIGHT_HIP); PoseLandmark leftKnee = pose.getPoseLandmark(PoseLandmark.LEFT_KNEE); PoseLandmark rightKnee = pose.getPoseLandmark(PoseLandmark.RIGHT_KNEE); PoseLandmark leftAnkle = pose.getPoseLandmark(PoseLandmark.LEFT_ANKLE); PoseLandmark rightAnkle = pose.getPoseLandmark(PoseLandmark.RIGHT_ANKLE); PoseLandmark leftPinky = pose.getPoseLandmark(PoseLandmark.LEFT_PINKY); PoseLandmark rightPinky = pose.getPoseLandmark(PoseLandmark.RIGHT_PINKY); PoseLandmark leftIndex = pose.getPoseLandmark(PoseLandmark.LEFT_INDEX); PoseLandmark rightIndex = pose.getPoseLandmark(PoseLandmark.RIGHT_INDEX); PoseLandmark leftThumb = pose.getPoseLandmark(PoseLandmark.LEFT_THUMB); PoseLandmark rightThumb = pose.getPoseLandmark(PoseLandmark.RIGHT_THUMB); PoseLandmark leftHeel = pose.getPoseLandmark(PoseLandmark.LEFT_HEEL); PoseLandmark rightHeel = pose.getPoseLandmark(PoseLandmark.RIGHT_HEEL); PoseLandmark leftFootIndex = pose.getPoseLandmark(PoseLandmark.LEFT_FOOT_INDEX); PoseLandmark rightFootIndex = pose.getPoseLandmark(PoseLandmark.RIGHT_FOOT_INDEX); PoseLandmark nose = pose.getPoseLandmark(PoseLandmark.NOSE); PoseLandmark leftEyeInner = pose.getPoseLandmark(PoseLandmark.LEFT_EYE_INNER); PoseLandmark leftEye = pose.getPoseLandmark(PoseLandmark.LEFT_EYE); PoseLandmark leftEyeOuter = pose.getPoseLandmark(PoseLandmark.LEFT_EYE_OUTER); PoseLandmark rightEyeInner = pose.getPoseLandmark(PoseLandmark.RIGHT_EYE_INNER); PoseLandmark rightEye = pose.getPoseLandmark(PoseLandmark.RIGHT_EYE); PoseLandmark rightEyeOuter = pose.getPoseLandmark(PoseLandmark.RIGHT_EYE_OUTER); PoseLandmark leftEar = pose.getPoseLandmark(PoseLandmark.LEFT_EAR); PoseLandmark rightEar = pose.getPoseLandmark(PoseLandmark.RIGHT_EAR); PoseLandmark leftMouth = pose.getPoseLandmark(PoseLandmark.LEFT_MOUTH); PoseLandmark rightMouth = pose.getPoseLandmark(PoseLandmark.RIGHT_MOUTH);
Wskazówki dotyczące zwiększania skuteczności
Jakość wyników zależy od jakości obrazu wejściowego:
- Aby ML Kit mógł dokładnie wykryć pozę, osoba na obrazie powinna być reprezentowana przez wystarczającą ilość danych pikseli. Aby uzyskać najlepszą wydajność, obiekt powinien mieć co najmniej 256 x 256 pikseli.
- Jeśli wykrywasz pozę w aplikacji działającej w czasie rzeczywistym, możesz też wziąć pod uwagę ogólne wymiary obrazów wejściowych. Mniejsze obrazy mogą być przetwarzane szybciej, więc aby zmniejszyć opóźnienie, rób zdjęcia w niższej rozdzielczości, ale pamiętaj o powyższych wymaganiach dotyczących rozdzielczości i upewnij się, że obiekt zajmuje jak największą część obrazu.
- Na dokładność może też wpływać słaba ostrość obrazu. Jeśli nie uzyskasz zadowalających wyników, poproś użytkownika o ponowne zrobienie zdjęcia.
Jeśli chcesz używać wykrywania pozycji w aplikacji działającej w czasie rzeczywistym, postępuj zgodnie z tymi wskazówkami, aby uzyskać najlepszą liczbę klatek na sekundę:
- Użyj podstawowego pakietu SDK do wykrywania pozycji i
STREAM_MODE. - Rozważ robienie zdjęć w niższej rozdzielczości. Pamiętaj jednak o wymaganiach tego interfejsu API dotyczących wymiarów obrazu.
- Jeśli używasz interfejsu API
Cameralubcamera2, ogranicz wywołania detektora. Jeśli podczas działania detektora pojawi się nowa klatka wideo, odrzuć ją. Przykład znajdziesz w klasieVisionProcessorBasew przykładowej aplikacji w krótkim wprowadzeniu. - Jeśli używasz interfejsu API
CameraX, upewnij się, że strategia przeciwciśnienia jest ustawiona na wartość domyślnąImageAnalysis.STRATEGY_KEEP_ONLY_LATEST. Dzięki temu do analizy będzie dostarczany tylko 1 obraz naraz. Jeśli podczas analizy zostaną wygenerowane kolejne obrazy, zostaną one automatycznie odrzucone i nie będą umieszczane w kolejce do dostarczenia. Po zamknięciu analizowanego obrazu przez wywołanie metody ImageProxy.close() zostanie dostarczony kolejny najnowszy obraz. - Jeśli używasz danych wyjściowych detektora do nakładania grafiki na obraz wejściowy, najpierw uzyskaj wynik z ML Kit, a następnie wyrenderuj obraz i nałóż go w jednym kroku. Renderowanie na powierzchni wyświetlacza odbywa się tylko raz dla każdej klatki wejściowej. Przykład znajdziesz w klasach
CameraSourcePreviewiGraphicOverlayw przykładowej aplikacji z krótkiego przewodnika. - Jeśli używasz interfejsu Camera2 API, rób zdjęcia w formacie
ImageFormat.YUV_420_888. Jeśli używasz starszego interfejsu Camera API, rób zdjęcia w formacieImageFormat.NV21.
Dalsze kroki
- Aby dowiedzieć się, jak używać punktów orientacyjnych pozycji do klasyfikowania pozycji, zapoznaj się ze wskazówkami dotyczącymi klasyfikacji pozycji.