תיוג תמונות

ממשקי ה-API של תיוג התמונות ב-ML Kit מאפשרים לזהות ולחלץ מידע על ישויות בתמונה בקבוצה רחבה של קטגוריות. המודל שמוגדר כברירת מחדל לתיוג תמונות יכול לזהות אובייקטים כלליים, מקומות, פעילויות, מינים של בעלי חיים, מוצרים ועוד.

אפשר גם להשתמש במודל מותאם אישית לסיווג תמונות כדי להתאים את הזיהוי לתרחיש שימוש ספציפי. למידע נוסף, ראו שימוש במודל TensorFlow Lite בהתאמה אישית.

יכולות עיקריות

  • מסווג בסיס מתקדם לשימוש כללי מזהה יותר מ-400 קטגוריות שמתארות את האובייקטים הנפוצים ביותר בתמונות.
  • התאמה לתרחיש השימוש שלכם במודלים בהתאמה אישית משתמשים במודלים אחרים שעברו אימון מ-TensorFlow Hub או במודל מותאם אישית שאומן בעזרת TensorFlow, AutoML Vision Edge או יצרן המודלים של TensorFlow Lite.
  • ממשקי API קלים לשימוש ברמה גבוהה אין צורך להתעסק בקלט/פלט של מודל ברמה נמוכה, בשלבי עיבוד של תמונה לפני ואחרי העיבוד או בבניית צינור עיבוד נתונים. ML Kit מחלץ את התוויות מהמודל של TensorFlow Lite ומספק אותן כתיאור בטקסט.

שימו לב: ה-API הזה מיועד למודלים של סיווג תמונות שמתארים את התמונה המלאה. לסיווג אובייקט אחד או יותר בתמונה, כמו נעליים או חלקי ריהוט, ה-API של זיהוי אובייקטים ומעקב יכול להתאים יותר.

מודלים נתמכים לסיווג תמונות

ממשקי ה-API של תוויות לתמונות תומכים במודלים שונים של סיווג תמונות:

מודלים נתמכים לסיווג תמונות
מודל בסיסי כברירת מחדל, ה-API משתמש במודל רב-עוצמה לתיוג תמונות לשימוש כללי, שמזהה יותר מ-400 ישויות שעוסקות במושגים הנפוצים ביותר בתמונות.
דגמים בהתאמה אישית של TensorFlow Lite כדי לטרגט למושגים ספציפיים לאפליקציה, ה-API מקבל מודלים מותאמים אישית לסיווג תמונות ממגוון רחב של מקורות. אפשר ליצור מודלים שאומנו מראש מ-TensorFlow Hub, או מודלים משלך שאומנו באמצעות AutoML Vision Edge, TensorFlow Lite Model Maker או ב-TensorFlow עצמו. אפשר לקבץ מודלים עם האפליקציה או לארח אותם יחד עם למידת מכונה ב-Firebase ולהוריד אותם בזמן הריצה.

באמצעות המודל הבסיסי

המודל הבסיסי של ML Kit מחזיר רשימה של ישויות שמזהות אנשים, דברים, מקומות, פעילויות וכו'. לכל ישות יש ציון שמעיד על המהימנות של מודל למידת המכונה ברלוונטיות שלו. בעזרת המידע הזה תוכלו לבצע משימות כמו יצירה אוטומטית של מטא-נתונים וניהול תוכן. דגם ברירת המחדל שסופק עם ML Kit מזהה יותר מ-400 ישויות שונות.

iOS Android

תוויות לדוגמה

המודל הבסיסי ב-API של תיוג תמונות תומך ביותר מ-400 תוויות, כמו הדוגמאות הבאות:

קטגוריהתוויות לדוגמה
משתתפים Crowd
Selfie
Smile
פעילויות Dancing
Eating
Surfing
דברים Car
Piano
Receipt
בעלי חיים Bird
Cat
Dog
צמחים Flower
Fruit
Vegetable
מקומות Beach
Lake
Mountain

תוצאות לדוגמה

הנה דוגמה לישויות שזוהו בתמונה הנלווית.

תמונה: Clément Bucco-Lechat / Wikimedia Commons / CC BY-SA 3.0
תווית 0
טקסט אצטדיון
מהימנות 0.9205354
תווית 1
טקסט ספורט
מהימנות 0.7531109
תווית 2
טקסט אירוע
מהימנות 0.66905296
תווית 3
טקסט פנאי
מהימנות 0.59904146
תווית 4
טקסט כדורגל
מהימנות 0.56384534
תווית 5
טקסט נטו
מהימנות 0.54679185
תווית 6
טקסט צמח
מהימנות 0.524364

שימוש במודל TensorFlow Lite בהתאמה אישית

המודל הבסיסי של הוספת תוויות לתמונות ב-ML Kit מיועד לשימוש כללי. הוא מאומן לזהות 400 קטגוריות שמתארות את האובייקטים הנפוצים ביותר בתמונות. יכול להיות שבאפליקציה שלכם נדרש מודל מיוחד לסיווג תמונות, שמזהה מספר מצומצם יותר של קטגוריות בפירוט רב יותר. למשל, מודל שמבדיל בין זני פרחים או סוגי מזון.

ה-API הזה מאפשר לכם להתאים אישית את התרחיש לדוגמה על ידי תמיכה במודלים לסיווג תמונות בהתאמה אישית ממגוון רחב של מקורות. למידע נוסף, ראו מודלים מותאמים אישית באמצעות ML Kit. את המודלים בהתאמה אישית אפשר לצרף לאפליקציה או להוריד באופן דינמי מהענן באמצעות שירות פריסת המודלים של Firebase Machine Learning.

iOS Android

עיבוד תמונה של קלט

אם צריך, אפשר להשתמש ב-Image Labeling כדי לכוונן ולמתוח את הגודל של תמונות הקלט ויחס הגובה-רוחב שלהן כך שיתאימו לדרישות של מודל הבסיס.