การตรวจจับและติดตามวัตถุ

API การติดตามและการตรวจจับวัตถุในอุปกรณ์ของ ML Kit ช่วยให้คุณตรวจจับและติดตามวัตถุในฟีดรูปภาพหรือฟีดกล้องแบบสดได้

คุณจะเลือกแยกประเภทออบเจ็กต์ที่ตรวจพบได้โดยใช้ตัวแยกประเภทแบบหยาบในตัว API หรือใช้โมเดลการจัดประเภทรูปภาพที่คุณกำหนดเอง ดูการใช้โมเดล TensorFlow Lite ที่กำหนดเองสำหรับข้อมูลเพิ่มเติม

เนื่องจากการตรวจจับและการติดตามวัตถุเกิดขึ้นในอุปกรณ์ ระบบจึงทำงานได้ดีกับส่วนหน้าของไปป์ไลน์การค้นหาภาพ หลังจากที่ตรวจพบและกรองออบเจ็กต์แล้ว คุณจะส่งออบเจ็กต์ไปยังแบ็กเอนด์ระบบคลาวด์ได้ เช่น Cloud Vision Product Search

iOS Android

ความสามารถหลัก

  • การตรวจจับและติดตามวัตถุอย่างรวดเร็ว ตรวจหาวัตถุและดูตำแหน่งของวัตถุในรูปภาพ ติดตามออบเจ็กต์ในเฟรมรูปภาพ ที่ประสบความสำเร็จ
  • รุ่นอุปกรณ์ที่เพิ่มประสิทธิภาพ รูปแบบการติดตามและการตรวจจับวัตถุได้รับการเพิ่มประสิทธิภาพสำหรับอุปกรณ์เคลื่อนที่ และใช้ในแอปพลิเคชันแบบเรียลไทม์ แม้ในอุปกรณ์ระดับล่าง
  • การตรวจจับวัตถุที่โดดเด่น ระบุวัตถุที่โดดเด่นที่สุดในรูปภาพโดยอัตโนมัติ
  • การจัดประเภทแบบหยาบ จัดประเภทออบเจ็กต์เป็นหมวดหมู่กว้างๆ ซึ่งใช้กรองสิ่งที่ไม่สนใจได้ เรารองรับหมวดหมู่ต่อไปนี้ ได้แก่ ของใช้ในบ้าน สินค้าแฟชั่น อาหาร พืช และสถานที่
  • การจำแนกประเภทด้วยโมเดลที่กำหนดเอง ใช้โมเดลการจัดประเภทรูปภาพที่คุณกำหนดเองเพื่อระบุหรือกรองหมวดหมู่ออบเจ็กต์ที่เฉพาะเจาะจง ทำให้โมเดลที่กำหนดเองทำงานได้ดีขึ้นโดยทิ้ง พื้นหลังของรูปภาพไว้

ตัวอย่างผลการแข่ง

การติดตามวัตถุที่โดดเด่นที่สุดในรูปภาพต่างๆ

ตัวอย่างด้านล่างแสดงข้อมูลการติดตามจากเฟรมที่ต่อเนื่อง 3 เฟรมซึ่งมีตัวแยกประเภทแบบคร่าวๆ เริ่มต้นที่ ML Kit ให้ไว้

รหัสติดตาม 0
ขอบเขต (95, 45), (496, 45), (496, 240), (95, 240)
หมวดหมู่ ตำแหน่ง
ความเชื่อมั่นในการแยกประเภท 0.9296875
รหัสติดตาม 0
ขอบเขต (84, 46), (478, 46), (478, 247), (84, 247)
หมวดหมู่ ตำแหน่ง
ความเชื่อมั่นในการแยกประเภท 0.8710938
รหัสติดตาม 0
ขอบเขต (53, 45), (519, 45), (519, 240), (53, 240)
หมวดหมู่ ตำแหน่ง
ความเชื่อมั่นในการแยกประเภท 0.8828125

รูปภาพ: Christian Ferrer [CC BY-SA 4.0]

วัตถุหลายรายการในภาพนิ่ง

ตัวอย่างด้านล่างแสดงข้อมูลของออบเจ็กต์ 4 รายการที่ตรวจพบในรูปภาพโดยใช้ตัวแยกประเภทเริ่มต้นแบบคร่าวๆ ที่ ML Kit มีให้

วัตถุ 0
ขอบเขต (1, 97), (332, 97), (332, 332), (1, 332)
หมวดหมู่ FASHION_GOOD
ความเชื่อมั่นในการแยกประเภท 0.95703125
วัตถุ 1
ขอบเขต (186, 80), (337, 80), (337, 226), (186, 226)
หมวดหมู่ FASHION_GOOD
ความเชื่อมั่นในการแยกประเภท 0.84375
วัตถุ 2
ขอบเขต (296, 80), (472, 80), (472, 388), (296, 388)
หมวดหมู่ FASHION_GOOD
ความเชื่อมั่นในการแยกประเภท 0.94921875
วัตถุ 3
ขอบเขต (439, 83), (615, 83), (615, 306), (439, 306)
หมวดหมู่ FASHION_GOOD
ความเชื่อมั่นในการแยกประเภท 0.9375

การใช้โมเดล TensorFlow Lite ที่กำหนดเอง

ตัวแยกประเภทเริ่มต้นแบบคร่าวๆ สร้างขึ้นจาก 5 หมวดหมู่ โดยให้ข้อมูลที่จำกัดเกี่ยวกับออบเจ็กต์ที่ตรวจพบ คุณอาจต้องการโมเดลตัวแยกประเภทเฉพาะทางซึ่งครอบคลุมขอบเขตของแนวคิดในขอบเขตที่แคบลง เช่น โมเดลที่ใช้แยกความแตกต่างระหว่างดอกไม้กับประเภทอาหาร

API นี้ช่วยให้คุณปรับแต่งตามกรณีการใช้งานเฉพาะได้โดยการรองรับโมเดลการจัดประเภทรูปภาพที่กำหนดเองจากแหล่งที่มาที่หลากหลาย โปรดดูข้อมูลเพิ่มเติมที่โมเดลที่กำหนดเองที่มี ML Kit คุณจะรวมโมเดลที่กำหนดเองไว้กับแอปหรือดาวน์โหลดแบบไดนามิกจากระบบคลาวด์ได้โดยใช้บริการการทำให้โมเดลของ Firebase Machine Learning ใช้งานได้

iOS Android

การประมวลผลรูปภาพอินพุตล่วงหน้า

หากจำเป็น การตรวจจับและการติดตามวัตถุจะใช้การปรับขนาดและยืดรูปภาพแบบ 2 เส้นเพื่อปรับขนาดรูปภาพอินพุตและสัดส่วนภาพให้ตรงตามข้อกำหนดของโมเดลที่วางอยู่