API de GenAI Speech Recognition

Comenzar

Agrega la API de reconocimiento de voz del ML Kit como una dependencia en tu configuración de build.gradle:

implementation("com.google.mlkit:genai-speech-recognition:1.0.0-alpha1")

Para integrar la API de Speech Recognition en tu app, crea un cliente de SpeechRecognizer. Verifica el estado de las funciones necesarias del modelo integrado en el dispositivo y descárgalo si aún no está en el dispositivo. Después de preparar la entrada de audio en un SpeechRecognizerRequest, ejecuta la inferencia con el cliente para recibir el resultado de la transmisión del flujo de Kotlin. Por último, recuerda cerrar el cliente para liberar recursos.

// 1. Create a SpeechRecognizer with desired options.
val options: SpeechRecognizerOptions =
    speechRecognizerOptions {
        locale = Locale.US
        preferredMode = SpeechRecognizerOptions.Mode.MODE_ADVANCED
    }
val speechRecognizer: SpeechRecognizer = SpeechRecognition.getClient(options)

// 2. Check if the recognition model is available or needs downloading.
launch {
    val status: Int = speechRecognizer.checkStatus()
    if (status == FeatureStatus.DOWNLOADABLE) {
        // 3. If needed, download the model and monitor progress.
        speechRecognizer.download.collect { downloadStatus ->
            when (downloadStatus) {
                is DownloadStatus.DownloadCompleted -> {
                    // Model is ready, start recognition.
                    startMyRecognition(speechRecognizer)
                }
                is DownloadStatus.DownloadFailed -> {
                    // Handle download failure (e.g., inform the user).
                }
                is DownloadStatus.DownloadProgress -> {
                    // Handle download progress (e.g., update a progress bar).
                }
            }
        }
    } else if (status == FeatureStatus.AVAILABLE) {
        // Model is already ready, start recognition immediately.
        startMyRecognition(speechRecognizer)
    } else {
        // Handle other statuses (e.g., DOWNLOADING, UNAVAILABLE).
    }
}

// 4. Define your recognition logic using a suspend function.
suspend fun startMyRecognition(recognizer: SpeechRecognizer) {
    // Create a request (e.g., specifying audio source).
    val request: SpeechRecognizerRequest
        = speechRecognizerRequest { audioSource = AudioSource.fromMic() }
    // Start recognition and process the continuous stream of responses.
    recognizer.startRecognition(request).collect {
        // Process the SpeechRecognitionResponse data here.
    }
}

// 5. Stop recognition and clean up resources when the session is complete.
launch {
    recognizer.stopRecognition()
    recognizer.close()
}

Requisitos de entrada de audio

La API de GenAI Speech Recognition admite la entrada desde el micrófono o una fuente personalizada a través de un descriptor de archivo.

Si usas AudioSource.fromPfd(parcelFileDescriptor), el audio de entrada debe cumplir con los siguientes requisitos estrictos:

• Formato: PCM de 16 bits sin procesar y sin encabezado.
• Canales: Mono (canal único)
• Tasa de muestreo: 16 kHz

En la mayoría de los casos de uso, se recomienda AudioSource.fromMic(), ya que controla estas restricciones automáticamente.

Formatos de entrada de audio compatibles

La API de reconocimiento de voz admite los siguientes formatos de entrada de audio:

• Los archivos MP3, WAV, FLAC, M4A y OGG se decodifican automáticamente en el dispositivo.
• El audio sin procesar y sin encabezado (.raw o .pcm) debe estar en formato PCM de 16 bits, 16 kHz y mono.

Si el formato no es válido o no es compatible, se devuelve un valor ErrorResponse cuando se inicia el reconocimiento.

Implementa la API de Speech Recognition

Aquí se explica cómo usar la API de Speech Recognition para transcribir audio y usar la sincronización de palabras.

Transcribe audio

La API de Speech Recognition admite la entrada de audio desde el micrófono del dispositivo, los archivos pregrabados o las canalizaciones personalizadas con un objeto ParcelFileDescriptor.

Para preparar tus datos de audio, construye un objeto AudioSource con uno de los métodos de fábrica que se indican en la siguiente tabla:

La constante AudioSource.Mode controla cómo la API procesa el audio entrante:

• La constante AudioSource.Mode.STREAMING configura el reconocedor para que devuelva resultados de transcripción parciales y finales de forma continua a medida que llegan los datos de audio. Cuando proporcionas un objeto ParcelFileDescriptor personalizado, debes escribir datos en la transmisión a un ritmo en tiempo real (aproximadamente 32,000 bytes por segundo para audio PCM mono estándar de 16 kHz y 16 bits). Escribir datos demasiado rápido puede desbordar el búfer.
• La constante AudioSource.Mode.ONE_SHOT configura el reconocedor para que espere a que se transfiera toda la fuente de audio antes de realizar la inferencia y entregar la transcripción final. Puedes escribir los datos de audio lo más rápido posible, pero debes cerrar el extremo de escritura del descriptor de archivo para indicar el final del archivo. El resultado final de la transcripción no se entrega hasta que se recibe este indicador de fin de archivo.

En el siguiente ejemplo, se transcribe un archivo de audio pregrabado:

suspend fun recognizeFromFile(recognizer: SpeechRecognizer, audioFile: File) {
    val audioSource = AudioSource.fromFile(audioFile)
    val request = speechRecognizerRequest { this.audioSource = audioSource }
    try {
        recognizer.startRecognition(request).collect { response ->
            when (response) {
                is SpeechRecognizerResponse.FinalTextResponse -> {
                    // Process the transcription of the whole file.
                }
                is SpeechRecognizerResponse.ErrorResponse -> {
                    // Handle the error, for example an unsupported audio format.
                }
                else -> {}
            }
        }
    } finally {
        audioSource.close()
    }
}

Usa la sincronización de palabras

Puedes solicitar la hora de inicio de cada palabra reconocida configurando el parámetro enableWordTiming como true en el bloque de configuración recognitionOptions de tu solicitud.

Cuando se habilita la sincronización de palabras, cada objeto SpeechRecognizerResponse.FinalTextResponse incluye una propiedad wordTimings que contiene una lista de objetos SpeechRecognizerResponse.WordTiming. Cada objeto proporciona la cadena de palabras reconocida (text) y su compensación en milisegundos (timestampMs) desde el comienzo de la sesión de reconocimiento de voz. Cuando se inhabilita la sincronización de palabras (la configuración predeterminada), la lista wordTimings se devuelve vacía.

En el siguiente ejemplo de código, se muestra cómo configurar y habilitar la sincronización de palabras:

suspend fun recognizeWithWordTiming(recognizer: SpeechRecognizer) {
    val request = speechRecognizerRequest {
        audioSource = AudioSource.fromMic()
        recognitionOptions { enableWordTiming = true }
    }
    recognizer.startRecognition(request).collect { response ->
        if (response is SpeechRecognizerResponse.FinalTextResponse) {
            for (wordTiming in response.wordTimings) {
                val word: String = wordTiming.text
                val timestamp: Long = wordTiming.timestampMs
            }
        }
    }
}

Idiomas admitidos

Dispositivos compatibles

Problemas comunes de configuración

Las APIs de IA generativa de ML Kit dependen de la app de AICore de Android para acceder a Gemini Nano. Cuando un dispositivo se acaba de configurar (incluido el restablecimiento) o la app de AICore se acaba de restablecer (p.ej., se borraron los datos, se desinstaló y se reinstaló), es posible que la app de AICore no tenga suficiente tiempo para finalizar la inicialización (incluida la descarga de las configuraciones más recientes del servidor). Como resultado, es posible que las APIs de IA generativa de ML Kit no funcionen como se espera. Estos son los mensajes de error de configuración comunes que podrías ver y cómo solucionarlos:

Código de muestra

• Explora la muestra de código de la API de reconocimiento de voz del ML Kit en GitHub