Puoi utilizzare ML Kit per riconoscere le entità in un'immagine e etichettarle. Questa API supporta un'ampia gamma di modelli personalizzati di classificazione delle immagini. Non dimenticare di apporre Consulta la sezione Modelli personalizzati con ML Kit per indicazioni requisiti di compatibilità dei modelli, dove trovare i modelli preaddestrati, e su come addestrare i tuoi modelli.
Esistono due modi per integrare un modello personalizzato. Puoi raggruppare il modello inserendolo nella cartella degli asset dell'app oppure scaricandolo in modo dinamico da Firebase. La tabella seguente mette a confronto le due opzioni.
Modello in bundle | Modello ospitato |
---|---|
Il modello fa parte dell'APK della tua app, che ne aumenta le dimensioni. | Il modello non fa parte dell'APK. È ospitata mediante caricamento su Firebase Machine Learning |
Il modello è disponibile immediatamente, anche quando il dispositivo Android è offline | Il modello viene scaricato on demand |
Non è necessario un progetto Firebase | Richiede un progetto Firebase |
Devi pubblicare nuovamente l'app per aggiornare il modello | Esegui il push degli aggiornamenti del modello senza ripubblicare l'app |
Nessun test A/B integrato | Test A/B semplici con Firebase Remote Config |
Prova
- Consulta l'app Vision quickstart per un esempio di utilizzo del modello in bundle l'app della guida rapida AutoML per di esempio di utilizzo del modello ospitato.
Prima di iniziare
Includi le librerie del kit ML nel tuo podfile:
Per raggruppare un modello con la tua app:
pod 'GoogleMLKit/ImageLabelingCustom', '15.5.0'
Per scaricare dinamicamente un modello da Firebase, aggiungi
LinkFirebase
:pod 'GoogleMLKit/ImageLabelingCustom', '15.5.0' pod 'GoogleMLKit/LinkFirebase', '15.5.0'
Dopo aver installato o aggiornato i pod del progetto, apri il progetto Xcode utilizzando
.xcworkspace
. ML Kit è supportato in Xcode versione 13.2.1 o superiore.Se vuoi scaricare un modello, assicurati di aggiungi Firebase al tuo progetto iOS, se non l'hai già fatto. Questa operazione non è necessaria se includi un modello di machine learning.
1. Carica il modello
Configura un'origine del modello locale
Per raggruppare il modello con la tua app:
Copia il file del modello (che di solito termina con
.tflite
o.lite
) nel tuo Xcode progetto, assicurandoti di selezionareCopy bundle resources
quando lo fai. La del modello sarà incluso nell'app bundle e sarà disponibile per ML Kit.Crea l'oggetto
LocalModel
, specificando il percorso del file del modello:Swift
let localModel = LocalModel(path: localModelFilePath)
Objective-C
MLKLocalModel *localModel = [[MLKLocalModel alloc] initWithPath:localModelFilePath];
Configura l'origine di un modello ospitata da Firebase
Per utilizzare il modello ospitato in remoto, crea un oggetto RemoteModel
, specificando il
nome assegnato al modello al momento della pubblicazione:
Swift
let firebaseModelSource = FirebaseModelSource( name: "your_remote_model") // The name you assigned in // the Firebase console. let remoteModel = CustomRemoteModel(remoteModelSource: firebaseModelSource)
Objective-C
MLKFirebaseModelSource *firebaseModelSource = [[MLKFirebaseModelSource alloc] initWithName:@"your_remote_model"]; // The name you assigned in // the Firebase console. MLKCustomRemoteModel *remoteModel = [[MLKCustomRemoteModel alloc] initWithRemoteModelSource:firebaseModelSource];
Poi, avvia l'attività di download del modello, specificando le condizioni in cui vuoi consentire il download. Se il modello non è presente sul dispositivo o se una versione più recente del modello, l'attività scaricherà in modo asincrono modello di Firebase:
Swift
let downloadConditions = ModelDownloadConditions( allowsCellularAccess: true, allowsBackgroundDownloading: true ) let downloadProgress = ModelManager.modelManager().download( remoteModel, conditions: downloadConditions )
Objective-C
MLKModelDownloadConditions *downloadConditions = [[MLKModelDownloadConditions alloc] initWithAllowsCellularAccess:YES allowsBackgroundDownloading:YES]; NSProgress *downloadProgress = [[MLKModelManager modelManager] downloadModel:remoteModel conditions:downloadConditions];
Molte app avviano l'attività di download nel codice di inizializzazione, ma puoi farlo in qualsiasi momento, prima di utilizzare il modello.
Configurare l'etichettatore delle immagini
Dopo aver configurato le origini del modello, crea un oggetto ImageLabeler
da uno
alcune.
Sono disponibili le seguenti opzioni:
Opzioni | |
---|---|
confidenceThreshold
|
Punteggio di confidenza minimo delle etichette rilevate. Se non viene configurato, qualsiasi valore verrà usata la soglia del classificatore specificata dai metadati del modello. Se il modello non contiene metadati o se i metadati non contengono specifica una soglia di classificazione, la soglia predefinita di 0,0 sarà in uso. |
maxResultCount
|
Numero massimo di etichette da restituire. Se non è impostato, il valore predefinito 10. |
Se hai solo un modello in bundle locale, crea un etichettatore dalla tua
Oggetto LocalModel
:
Swift
let options = CustomImageLabelerOptions(localModel: localModel) options.confidenceThreshold = NSNumber(value: 0.0) let imageLabeler = ImageLabeler.imageLabeler(options: options)
Objective-C
MLKCustomImageLabelerOptions *options = [[MLKCustomImageLabelerOptions alloc] initWithLocalModel:localModel]; options.confidenceThreshold = @(0.0); MLKImageLabeler *imageLabeler = [MLKImageLabeler imageLabelerWithOptions:options];
Se utilizzi un modello ospitato in remoto, dovrai verificare che sia stato
scaricato prima di eseguirlo. Puoi controllare lo stato del download del modello
utilizzando il metodo isModelDownloaded(remoteModel:)
del gestore del modello.
Anche se devi solo confermare prima di eseguire l'etichettatore, se
sia un modello ospitato in remoto sia uno in bundle locale,
di eseguire questo controllo durante la creazione di un'istanza per ImageLabeler
:
etichettatore dal modello remoto, se è stato scaricato, e dal modello locale
negli altri casi.
Swift
var options: CustomImageLabelerOptions! if (ModelManager.modelManager().isModelDownloaded(remoteModel)) { options = CustomImageLabelerOptions(remoteModel: remoteModel) } else { options = CustomImageLabelerOptions(localModel: localModel) } options.confidenceThreshold = NSNumber(value: 0.0) let imageLabeler = ImageLabeler.imageLabeler(options: options)
Objective-C
MLKCustomImageLabelerOptions *options; if ([[MLKModelManager modelManager] isModelDownloaded:remoteModel]) { options = [[MLKCustomImageLabelerOptions alloc] initWithRemoteModel:remoteModel]; } else { options = [[MLKCustomImageLabelerOptions alloc] initWithLocalModel:localModel]; } options.confidenceThreshold = @(0.0); MLKImageLabeler *imageLabeler = [MLKImageLabeler imageLabelerWithOptions:options];
Se disponi solo di un modello ospitato in remoto, devi disattivare le relative funzionalità, ad esempio rendere non selezionabile o nascondere parte dell'interfaccia utente, fino a quando confermi che il modello è stato scaricato.
Puoi ottenere lo stato di download del modello collegando gli osservatori all'impostazione predefinita
Centro notifiche. Assicurati di utilizzare un riferimento debole a self
nell'osservatore
perché i download possono richiedere del tempo e l'oggetto di origine può essere
verrà liberato al termine del download. Ad esempio:
Swift
NotificationCenter.default.addObserver( forName: .mlkitModelDownloadDidSucceed, object: nil, queue: nil ) { [weak self] notification in guard let strongSelf = self, let userInfo = notification.userInfo, let model = userInfo[ModelDownloadUserInfoKey.remoteModel.rawValue] as? RemoteModel, model.name == "your_remote_model" else { return } // The model was downloaded and is available on the device } NotificationCenter.default.addObserver( forName: .mlkitModelDownloadDidFail, object: nil, queue: nil ) { [weak self] notification in guard let strongSelf = self, let userInfo = notification.userInfo, let model = userInfo[ModelDownloadUserInfoKey.remoteModel.rawValue] as? RemoteModel else { return } let error = userInfo[ModelDownloadUserInfoKey.error.rawValue] // ... }
Objective-C
__weak typeof(self) weakSelf = self; [NSNotificationCenter.defaultCenter addObserverForName:MLKModelDownloadDidSucceedNotification object:nil queue:nil usingBlock:^(NSNotification *_Nonnull note) { if (weakSelf == nil | note.userInfo == nil) { return; } __strong typeof(self) strongSelf = weakSelf; MLKRemoteModel *model = note.userInfo[MLKModelDownloadUserInfoKeyRemoteModel]; if ([model.name isEqualToString:@"your_remote_model"]) { // The model was downloaded and is available on the device } }]; [NSNotificationCenter.defaultCenter addObserverForName:MLKModelDownloadDidFailNotification object:nil queue:nil usingBlock:^(NSNotification *_Nonnull note) { if (weakSelf == nil | note.userInfo == nil) { return; } __strong typeof(self) strongSelf = weakSelf; NSError *error = note.userInfo[MLKModelDownloadUserInfoKeyError]; }];
2. Prepara l'immagine di input
Crea un oggetto VisionImage
utilizzando un UIImage
o un
CMSampleBuffer
.
Se usi un UIImage
, segui questi passaggi:
- Crea un oggetto
VisionImage
conUIImage
. Assicurati di specificare il valore.orientation
corretto.Swift
let image = VisionImage(image: UIImage) visionImage.orientation = image.imageOrientation
Objective-C
MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image]; visionImage.orientation = image.imageOrientation;
Se usi un CMSampleBuffer
, segui questi passaggi:
-
Specifica l'orientamento dei dati dell'immagine contenuti nei
CMSampleBuffer
.Per ottenere l'orientamento dell'immagine:
Swift
func imageOrientation( deviceOrientation: UIDeviceOrientation, cameraPosition: AVCaptureDevice.Position ) -> UIImage.Orientation { switch deviceOrientation { case .portrait: return cameraPosition == .front ? .leftMirrored : .right case .landscapeLeft: return cameraPosition == .front ? .downMirrored : .up case .portraitUpsideDown: return cameraPosition == .front ? .rightMirrored : .left case .landscapeRight: return cameraPosition == .front ? .upMirrored : .down case .faceDown, .faceUp, .unknown: return .up } }
Objective-C
- (UIImageOrientation) imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation cameraPosition:(AVCaptureDevicePosition)cameraPosition { switch (deviceOrientation) { case UIDeviceOrientationPortrait: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored : UIImageOrientationRight; case UIDeviceOrientationLandscapeLeft: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored : UIImageOrientationUp; case UIDeviceOrientationPortraitUpsideDown: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored : UIImageOrientationLeft; case UIDeviceOrientationLandscapeRight: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored : UIImageOrientationDown; case UIDeviceOrientationUnknown: case UIDeviceOrientationFaceUp: case UIDeviceOrientationFaceDown: return UIImageOrientationUp; } }
- Crea un oggetto
VisionImage
utilizzando il metodoCMSampleBuffer
oggetto e orientamento:Swift
let image = VisionImage(buffer: sampleBuffer) image.orientation = imageOrientation( deviceOrientation: UIDevice.current.orientation, cameraPosition: cameraPosition)
Objective-C
MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer]; image.orientation = [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation cameraPosition:cameraPosition];
3. Esegui l'etichettatore delle immagini
Per etichettare gli oggetti in un'immagine, passa l'oggetto image
all'elemento ImageLabeler
process()
.
In modo asincrono:
Swift
imageLabeler.process(image) { labels, error in guard error == nil, let labels = labels, !labels.isEmpty else { // Handle the error. return } // Show results. }
Objective-C
[imageLabeler processImage:image completion:^(NSArray*_Nullable labels, NSError *_Nullable error) { if (label.count == 0) { // Handle the error. return; } // Show results. }];
In modo sincrono:
Swift
var labels: [ImageLabel] do { labels = try imageLabeler.results(in: image) } catch let error { // Handle the error. return } // Show results.
Objective-C
NSError *error; NSArray*labels = [imageLabeler resultsInImage:image error:&error]; // Show results or handle the error.
4. Recuperare informazioni sulle entità etichettate
Se l'operazione di etichettatura delle immagini ha esito positivo, restituisce un array diImageLabel
Ciascun ImageLabel
rappresenta qualcosa che era
etichettate nell'immagine. Puoi visualizzare la descrizione testuale di ogni etichetta (se disponibile in
i metadati del file del modello TensorFlow Lite), il punteggio di confidenza e l'indice.
Ad esempio:
Swift
for label in labels { let labelText = label.text let confidence = label.confidence let index = label.index }
Objective-C
for (MLKImageLabel *label in labels) { NSString *labelText = label.text; float confidence = label.confidence; NSInteger index = label.index; }
Suggerimenti per migliorare il rendimento in tempo reale
Se vuoi etichettare le immagini in un'applicazione in tempo reale, segui questi passaggi: linee guida per ottenere le migliori frequenze fotogrammi:
- Per elaborare i fotogrammi video, utilizza l'API sincrona
results(in:)
del rilevatore. Chiama questo metodo dal diAVCaptureVideoDataOutputSampleBufferDelegate
captureOutput(_, didOutput:from:)
per ottenere in modo sincrono i risultati dal video specificato frame. Mantieni diAVCaptureVideoDataOutput
alwaysDiscardsLateVideoFrames
cometrue
per limitare le chiamate al rilevatore. Se un nuovo il fotogramma video diventa disponibile mentre il rilevatore è in esecuzione, quindi verrà eliminato. - Se utilizzi l'output del rilevatore per sovrapporre elementi grafici l'immagine di input, occorre prima ottenere il risultato da ML Kit, quindi eseguire il rendering dell'immagine e la sovrapposizione in un solo passaggio. In questo modo, puoi visualizzare i contenuti solo una volta per ogni frame di input elaborato. Vedi la pagina updatePreviewOverlayViewWithLastFrame. nell'esempio della guida rapida di ML Kit.