ML Kit의 기기 내 객체 감지 및 추적 API를 사용하면 이미지 또는 실시간 카메라 피드에서 객체를 감지하고 추적할 수 있습니다.
원하는 경우 API에 기본 제공되는 대략적인 분류기를 사용하거나 자체 커스텀 이미지 분류 모델을 사용하여 감지된 객체를 분류할 수 있습니다. 자세한 내용은 커스텀 TensorFlow Lite 모델 사용을 참조하세요.
객체 감지 및 추적은 기기에서 실행되므로 시각적 검색 파이프라인의 프런트엔드로도 잘 작동합니다. 객체를 감지하고 필터링한 후 Cloud Vision 제품 검색과 같은 클라우드 백엔드에 전달할 수 있습니다.
주요 기능
- 빠른 객체 감지 및 추적 이미지에서 객체를 인식하고 위치를 가져옵니다. 연속된 이미지 프레임에서 객체를 추적합니다.
- 최적화된 기기 내 모델 객체 감지 및 추적 모델은 휴대기기에 최적화되어 있으며 저사양 기기에서도 실시간 애플리케이션에서 사용하도록 고안되었습니다.
- 주요 객체 감지 이미지에서 가장 눈에 띄는 객체를 자동으로 판별합니다.
- 대략적인 분류: 객체를 광범위한 카테고리로 분류하여 관심 없는 객체를 필터링할 수 있습니다. 가정용품, 패션 상품, 식품, 식물, 장소 등의 카테고리가 지원됩니다.
- 커스텀 모델을 사용한 분류 고유한 커스텀 이미지 분류 모델을 사용하여 특정 객체 카테고리를 식별하거나 필터링합니다. 이미지의 배경을 제외하여 커스텀 모델의 성능을 개선합니다.
결과 예시
여러 이미지에서 가장 눈에 띄는 객체 추적
아래 예는 ML Kit에서 제공하는 기본 대략적인 분류 기준을 사용하여 연속된 3개 프레임의 추적 데이터를 보여줍니다.
 |
|
||||||||
 |
|
||||||||
 |
|
사진: 크리스찬 페레르 [CC BY-SA 4.0]
정적 이미지의 여러 객체
아래 예는 ML Kit에서 제공하는 기본 대략적인 분류 기준을 사용하여 이미지에서 인식된 4개 객체의 데이터를 보여줍니다.
| 객체 0 | |
|---|---|
| 경계 | (1, 97), (332, 97), (332, 332), (1, 332) |
| 카테고리 | FASHION_GOOD |
| 분류 신뢰도 | 0.95703125 |
| Object 1 | |
| 경계 | (186, 80), (337, 80), (337, 226), (186, 226) |
| 카테고리 | FASHION_GOOD |
| 분류 신뢰도 | 0.84375 |
| Object 2 | |
| 경계 | (296, 80), (472, 80), (472, 388), (296, 388) |
| 카테고리 | FASHION_GOOD |
| 분류 신뢰도 | 0.94921875 |
| Object 3 | |
| 경계 | (439, 83), (615, 83), (615, 306), (439, 306) |
| 카테고리 | FASHION_GOOD |
| 분류 신뢰도 | 0.9375 |
커스텀 TensorFlow Lite 모델 사용
기본적인 대략적인 분류 기준은 5가지 카테고리로 구축되어 감지된 객체에 관한 제한된 정보를 제공합니다. 예를 들어 꽃의 종이나 음식의 종류를 구분하는 모델과 같이 더 좁은 범위의 개념 영역을 자세히 포괄하는 보다 전문화된 분류 기준 모델이 필요할 수 있습니다.
이 API를 사용하면 다양한 소스의 커스텀 이미지 분류 모델을 지원하여 특정 사용 사례에 맞게 조정할 수 있습니다. 자세한 내용은 ML Kit를 사용한 커스텀 모델을 참조하세요. 커스텀 모델은 앱과 번들로 묶거나 Firebase 머신러닝의 모델 배포 서비스를 사용하여 클라우드에서 동적으로 다운로드할 수 있습니다.
입력 이미지 사전 처리
필요한 경우 객체 감지 및 추적은 이중 선형 이미지 크기 조정 및 확장을 사용하여 기본 모델의 요구사항에 맞게 입력 이미지 크기 및 가로세로 비율을 조정합니다.