تشخیص و ردیابی اشیاء
با مجموعهها، منظم بمانید
ذخیره و طبقه‌بندی محتوا براساس اولویتهای شما.
با API تشخیص و ردیابی اشیاء روی دستگاه کیت ML، می توانید اشیاء را در یک تصویر یا فید دوربین زنده شناسایی و ردیابی کنید.
به صورت اختیاری، می‌توانید اشیاء شناسایی‌شده را با استفاده از طبقه‌بندی درشت تعبیه‌شده در API یا با استفاده از مدل طبقه‌بندی تصویر سفارشی خود طبقه‌بندی کنید. برای اطلاعات بیشتر به استفاده از یک مدل سفارشی TensorFlow Lite مراجعه کنید.
از آنجا که تشخیص و ردیابی شی در دستگاه اتفاق می افتد، به خوبی به عنوان قسمت جلویی خط لوله جستجوی بصری عمل می کند. پس از شناسایی و فیلتر کردن اشیاء، می‌توانید آنها را به پشتیبان ابری مانند جستجوی محصول Cloud Vision منتقل کنید.
iOS اندروید
قابلیت های کلیدی
- تشخیص و ردیابی سریع اشیا اشیاء را شناسایی کرده و مکان آنها را در تصویر دریافت کنید. ردیابی اشیاء در فریم های تصویر متوالی.
- مدل بهینه سازی شده روی دستگاه مدل تشخیص و ردیابی شی برای دستگاه های تلفن همراه بهینه شده است و برای استفاده در برنامه های بلادرنگ، حتی در دستگاه های پایین تر در نظر گرفته شده است.
- تشخیص شیء برجسته به طور خودکار برجسته ترین شی را در یک تصویر تعیین می کند.
- طبقه بندی درشت اشیاء را به دسته های گسترده طبقه بندی کنید، که می توانید از آنها برای فیلتر کردن اشیایی که به آنها علاقه ندارید استفاده کنید. دسته های زیر پشتیبانی می شوند: کالاهای خانگی، کالاهای مد، غذا، گیاهان و مکان ها.
- طبقه بندی با یک مدل سفارشی از مدل طبقه بندی تصویر سفارشی خود برای شناسایی یا فیلتر کردن دسته بندی اشیاء خاص استفاده کنید. با کنار گذاشتن پس‌زمینه تصویر، عملکرد مدل سفارشی خود را بهتر کنید.
نتایج نمونه
ردیابی برجسته ترین شی در بین تصاویر
مثال زیر داده های ردیابی را از سه فریم متوالی با طبقه بندی درشت پیش فرض ارائه شده توسط ML Kit نشان می دهد.
 | | شناسه پیگیری | 0 | | محدوده | (95، 45)، (496، 45)، (496، 240)، (95، 240) | | دسته بندی | محل | | اطمینان طبقه بندی | 0.9296875 |
|
 | | شناسه پیگیری | 0 | | محدوده | (84، 46)، (478، 46)، (478، 247)، (84، 247) | | دسته بندی | محل | | اطمینان طبقه بندی | 0.8710938 |
|
 | | شناسه پیگیری | 0 | | محدوده | (53، 45)، (519، 45)، (519، 240)، (53، 240) | | دسته بندی | محل | | اطمینان طبقه بندی | 0.8828125 |
|
عکس: Christian Ferrer [CC BY-SA 4.0]
چندین اشیاء در یک تصویر ثابت
مثال زیر داده های چهار شی شناسایی شده در تصویر را با طبقه بندی درشت پیش فرض ارائه شده توسط ML Kit نشان می دهد.
| شی 0 |
|---|
| محدوده | (1، 97)، (332، 97)، (332، 332)، (1، 332) |
| دسته بندی | FASHION_GOOD |
| اطمینان طبقه بندی | 0.95703125 |
| شی 1 |
|---|
| محدوده | (186، 80)، (337، 80)، (337، 226)، (186، 226) |
| دسته بندی | FASHION_GOOD |
| اطمینان طبقه بندی | 0.84375 |
| شی 2 |
|---|
| محدوده | (296، 80)، (472، 80)، (472، 388)، (296، 388) |
| دسته بندی | FASHION_GOOD |
| اطمینان طبقه بندی | 0.94921875 |
| شی 3 |
|---|
| محدوده | (439، 83)، (615، 83)، (615، 306)، (439، 306) |
| دسته بندی | FASHION_GOOD |
| اطمینان طبقه بندی | 0.9375 |
با استفاده از یک مدل سفارشی TensorFlow Lite
طبقه بندی درشت پیش فرض برای پنج دسته ساخته شده است که اطلاعات محدودی در مورد اشیاء شناسایی شده ارائه می دهد. ممکن است به یک مدل طبقه‌بندی تخصصی‌تر نیاز داشته باشید که دامنه محدودتری از مفاهیم را با جزئیات بیشتری پوشش دهد. به عنوان مثال، مدلی برای تمایز بین گونه های گل یا انواع غذا.
این API به شما امکان می‌دهد با پشتیبانی از مدل‌های طبقه‌بندی تصویر سفارشی از طیف گسترده‌ای از منابع، برای یک مورد خاص استفاده کنید. لطفاً برای کسب اطلاعات بیشتر به مدل های سفارشی با کیت ML مراجعه کنید. با استفاده از سرویس استقرار مدل Firebase Machine Learning، می‌توان مدل‌های سفارشی را با برنامه‌تان همراه کرد یا به‌صورت پویا از ابر دانلود کرد.
iOS اندروید
در صورت نیاز، تشخیص و ردیابی شی از مقیاس گذاری و کشش تصویر دوخطی برای تنظیم اندازه تصویر ورودی و نسبت ابعاد استفاده می کند تا مطابق با الزامات مدل اصلی باشد.
جز در مواردی که غیر از این ذکر شده باشد،محتوای این صفحه تحت مجوز Creative Commons Attribution 4.0 License است. نمونه کدها نیز دارای مجوز Apache 2.0 License است. برای اطلاع از جزئیات، به خطمشیهای سایت Google Developers مراجعه کنید. جاوا علامت تجاری ثبتشده Oracle و/یا شرکتهای وابسته به آن است.
تاریخ آخرین بهروزرسانی 2025-08-29 بهوقت ساعت هماهنگ جهانی.
[null,null,["تاریخ آخرین بهروزرسانی 2025-08-29 بهوقت ساعت هماهنگ جهانی."],[[["\u003cp\u003eML Kit's on-device API enables detection and tracking of objects within images or live camera feeds, working efficiently even on lower-end mobile devices.\u003c/p\u003e\n"],["\u003cp\u003eIt offers optional object classification using a built-in coarse classifier or your own custom TensorFlow Lite model for more specialized categorization.\u003c/p\u003e\n"],["\u003cp\u003eThe API can identify the most prominent object in an image and track it across frames, making it suitable for visual search applications.\u003c/p\u003e\n"],["\u003cp\u003eCustom models can be integrated to classify objects into specific categories, enhancing the functionality for tailored use cases.\u003c/p\u003e\n"],["\u003cp\u003eInput images are automatically preprocessed to fit model requirements, using bilinear scaling and stretching if necessary.\u003c/p\u003e\n"]]],["ML Kit's API enables on-device object detection and tracking in images or live feeds, optionally classifying them. It features fast detection, an optimized model for mobile, and prominent object identification. Objects can be classified into broad categories or with custom models. The API supports custom image classification models, including ones dynamically downloaded. Detected objects are tracked across frames, and the system adjusts input image size and aspect ratio as needed.\n"],null,["With ML Kit's on-device object detection and tracking API, you can detect\nand track objects in an image or live camera feed.\n\nOptionally, you can classify detected objects, either by using the coarse\nclassifier built into the API, or using your own custom image classification\nmodel. See [Using a custom TensorFlow Lite model](#custom-tflite) for more\ninformation.\n\nBecause object detection and tracking happens on the device, it works well as\nthe front end of the visual search pipeline. After you detect and filter\nobjects, you can pass them to a cloud backend, such as\n[Cloud Vision Product Search](https://cloud.google.com/vision/product-search/docs/).\n\n[iOS](/ml-kit/vision/object-detection/ios)\n[Android](/ml-kit/vision/object-detection/android)\n\nKey capabilities\n\n- **Fast object detection and tracking** Detect objects and get their locations in the image. Track objects across successive image frames.\n- **Optimized on-device model** The object detection and tracking model is optimized for mobile devices and intended for use in real-time applications, even on lower-end devices.\n- **Prominent object detection** Automatically determine the most prominent object in an image.\n- **Coarse classification** Classify objects into broad categories, which you can use to filter out objects you're not interested in. The following categories are supported: home goods, fashion goods, food, plants, and places.\n- **Classification with a custom model** Use your own custom image classification model to identify or filter specific object categories. Make your custom model perform better by leaving out background of the image.\n\nExample results\n\nTracking the most prominent object across images\n\nThe example below shows the tracking data from three successive frames with the\ndefault coarse classifier provided by ML Kit.\n\n|---|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n| | |---------------------------|--------------------------------------------| | Tracking ID | 0 | | Bounds | (95, 45), (496, 45), (496, 240), (95, 240) | | Category | PLACE | | Classification confidence | 0.9296875 | |\n| | |---------------------------|--------------------------------------------| | Tracking ID | 0 | | Bounds | (84, 46), (478, 46), (478, 247), (84, 247) | | Category | PLACE | | Classification confidence | 0.8710938 | |\n| | |---------------------------|--------------------------------------------| | Tracking ID | 0 | | Bounds | (53, 45), (519, 45), (519, 240), (53, 240) | | Category | PLACE | | Classification confidence | 0.8828125 | |\n\nPhoto: Christian Ferrer \\[CC BY-SA 4.0\\]\n\nMultiple objects in a static image\n\nThe example below shows the data for the four objects detected in the image with\nthe default coarse classifier provided by ML Kit.\n\n| Object 0 ||\n|---------------------------|----------------------------------------------|\n| Bounds | (1, 97), (332, 97), (332, 332), (1, 332) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.95703125 |\n| Bounds | (186, 80), (337, 80), (337, 226), (186, 226) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.84375 |\n| Bounds | (296, 80), (472, 80), (472, 388), (296, 388) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.94921875 |\n| Bounds | (439, 83), (615, 83), (615, 306), (439, 306) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.9375 |\n\nUsing a custom TensorFlow Lite model\n\nThe default coarse classifier is built for five categories, providing limited\ninformation about the detected objects. You might need a more specialized\nclassifier model that covers a narrower domain of concepts in more detail;\nfor example, a model to distinguish between species of flowers or types of\nfood.\n\nThis API lets you tailor to a particular use case by by supporting custom image\nclassification models from a wide range of sources. Please refer to\n[Custom models with ML Kit](/ml-kit/custom-models) to learn more. Custom models\ncan be bundled with your app or dynamically downloaded from the cloud using\nFirebase Machine Learning's Model deployment service.\n\n[iOS](/ml-kit/vision/object-detection/custom-models/ios)\n[Android](/ml-kit/vision/object-detection/custom-models/android)\n\nInput image preprocessing\n\nIf needed, object detection and tracking uses bilinear image scaling and\nstretching to adjust the input image size and aspect ratio so that they fit the\nrequirements of the underlying model."]]
