API การติดป้ายกำกับรูปภาพของ ML Kit ช่วยให้คุณตรวจหาและแยกข้อมูลเกี่ยวกับเอนทิตีในรูปภาพในหมวดหมู่ต่างๆ ได้มากมาย โมเดลการติดป้ายกำกับรูปภาพเริ่มต้นสามารถระบุวัตถุทั่วไป สถานที่ กิจกรรม สปีชีส์สัตว์ ผลิตภัณฑ์ และอื่นๆ
นอกจากนี้ คุณยังสามารถใช้โมเดลการจัดประเภทรูปภาพที่กำหนดเองเพื่อปรับแต่งการตรวจจับ ตามกรณีการใช้งานที่เฉพาะเจาะจง ดูข้อมูลเพิ่มเติมที่การใช้โมเดล TensorFlow Lite ที่กำหนดเอง
ความสามารถหลัก
- ตัวแยกประเภทพื้นฐานที่มีประสิทธิภาพ ระบุหมวดหมู่มากกว่า 400 หมวดหมู่ที่อธิบายวัตถุที่พบเห็นบ่อยที่สุดในรูปภาพ
- ปรับแต่งกรณีการใช้งานของคุณด้วยโมเดลที่กำหนดเอง ใช้โมเดลก่อนการฝึกอื่นๆ จาก TensorFlow Hub หรือโมเดลที่คุณกำหนดเองที่ฝึกด้วย TensorFlow, AutoML Vision Edge หรือเครื่องมือสร้างโมเดล TensorFlow Lite
- API ระดับสูงที่ใช้งานง่าย ไม่จำเป็นต้องจัดการกับอินพุต/เอาต์พุตโมเดลระดับต่ำ การประมวลผลรูปภาพก่อนและหลังการประมวลผล หรือสร้างไปป์ไลน์การประมวลผล โดย ML Kit จะแยกป้ายกำกับออกจากโมเดล TensorFlow Lite และส่งเป็นคำอธิบายข้อความ
โปรดทราบว่า API นี้มีไว้สำหรับโมเดลการจัดประเภทรูปภาพที่อธิบายรูปภาพขนาดเต็ม สำหรับการจัดประเภทออบเจ็กต์อย่างน้อย 1 รายการในรูปภาพ เช่น รองเท้าหรือเฟอร์นิเจอร์ API การตรวจจับและการติดตามออบเจ็กต์อาจเหมาะสมกว่า
โมเดลการจัดประเภทรูปภาพที่รองรับ
Image Labeling API รองรับโมเดลการจัดประเภทรูปภาพแบบต่างๆ ดังนี้
โมเดลการจัดประเภทรูปภาพที่รองรับ | |
---|---|
รูปแบบพื้นฐาน | โดยค่าเริ่มต้น API จะใช้โมเดลการติดป้ายกำกับรูปภาพอเนกประสงค์ที่มีประสิทธิภาพ ซึ่งจดจำเอนทิตีมากกว่า 400 รายการที่ครอบคลุมแนวคิดที่พบได้บ่อยที่สุดในรูปภาพ |
โมเดล TensorFlow Lite ที่กำหนดเอง | หากต้องการกำหนดเป้าหมายแนวคิดเฉพาะแอปพลิเคชัน API จะยอมรับโมเดลการจัดประเภทรูปภาพที่กำหนดเองจากแหล่งที่มาที่หลากหลาย โมเดลเหล่านี้อาจเป็นโมเดลก่อนการฝึกที่ดาวน์โหลดจาก TensorFlow Hub หรือโมเดลของคุณเองที่ฝึกด้วย AutoML Vision Edge, TensorFlow Lite Model Maker หรือ TensorFlow เอง โมเดลอาจรวมมากับแอปหรือโฮสต์ด้วยแมชชีนเลิร์นนิง Firebase และดาวน์โหลดได้รันไทม์ |
การใช้โมเดลฐาน
โมเดลฐานของ ML Kit จะแสดงรายการเอนทิตีที่ระบุผู้คน สิ่งของ สถานที่ กิจกรรม และอื่นๆ แต่ละเอนทิตีจะมีคะแนนที่ระบุความเชื่อมั่นที่โมเดล ML มีในความเกี่ยวข้อง ข้อมูลนี้ช่วยให้คุณดำเนินงานต่างๆ เช่น สร้างข้อมูลเมตาอัตโนมัติและการกลั่นกรองเนื้อหาได้ โมเดลเริ่มต้นที่มาพร้อมกับ ML Kit จดจำเอนทิตีที่แตกต่างกันมากกว่า 400 รายการได้
ป้ายกำกับตัวอย่าง
โมเดลฐานใน API การติดป้ายกำกับรูปภาพรองรับป้ายกำกับมากกว่า 400 รายการ เช่นตัวอย่างต่อไปนี้
หมวดหมู่ | ป้ายกำกับตัวอย่าง |
---|---|
ผู้คน | Crowd Selfie Smile |
กิจกรรม | Dancing Eating Surfing |
สิ่งของ | Car Piano Receipt |
สัตว์ | Bird Cat Dog |
พืช | Flower Fruit Vegetable |
สถานที่ | Beach Lake Mountain |
ตัวอย่างผลการแข่ง
นี่คือตัวอย่างของเอนทิตีที่ระบุในรูปภาพที่เกี่ยวข้อง
ป้ายกำกับ 0 | |
---|---|
ข้อความ | สนามกีฬา |
ความมั่นใจ | 0.9205354 |
ป้ายกำกับ 1 | |
ข้อความ | กีฬา |
ความมั่นใจ | 0.7531109 |
ป้ายกำกับ 2 | |
ข้อความ | เหตุการณ์ |
ความมั่นใจ | 0.66905296 |
ป้ายกำกับ 3 | |
ข้อความ | ยามว่าง |
ความมั่นใจ | 0.59904146 |
ป้ายกำกับ 4 | |
ข้อความ | ฟุตบอล |
ความมั่นใจ | 0.56384534 |
ป้ายกำกับ 5 | |
ข้อความ | สุทธิ |
ความมั่นใจ | 0.54679185 |
ป้ายกำกับ 6 | |
ข้อความ | ต้นไม้ |
ความมั่นใจ | 0.524364 |
การใช้โมเดล TensorFlow Lite ที่กำหนดเอง
โมเดลการติดป้ายกำกับรูปภาพพื้นฐานของ ML Kit สร้างขึ้นเพื่อการใช้งานทั่วไป ระบบฝึกให้จดจำหมวดหมู่ 400 รายการที่อธิบายถึงออบเจ็กต์ที่พบมากที่สุดในรูปภาพ แอปของคุณอาจต้องใช้โมเดลการจัดประเภทรูปภาพเฉพาะที่รู้รายละเอียดของหมวดหมู่ในจำนวนที่แคบลง เช่น โมเดลที่แยกความแตกต่างระหว่างดอกไม้แต่ละสายพันธุ์หรือประเภทอาหาร
API นี้ช่วยให้คุณปรับแต่งกรณีการใช้งานที่เฉพาะเจาะจงโดยการรองรับโมเดลการจัดประเภทรูปภาพที่กำหนดเองจากแหล่งที่มาที่หลากหลาย โปรดดูข้อมูลเพิ่มเติมที่โมเดลที่กำหนดเองที่มี ML Kit โมเดลที่กำหนดเองอาจมาพร้อมกับแอปหรือดาวน์โหลดแบบไดนามิกจากระบบคลาวด์โดยใช้บริการการทำให้โมเดลของ Firebase Machine Learning ใช้งานได้
การประมวลผลรูปภาพอินพุตล่วงหน้า
หากจำเป็น การติดป้ายกำกับรูปภาพจะใช้การปรับขนาดและการขยายรูปภาพแบบ 2 เส้นเพื่อปรับขนาดรูปภาพและสัดส่วนภาพที่ป้อนเพื่อให้เป็นไปตามข้อกำหนดของโมเดลฐานดังกล่าว