在 Android 应用中利用机器学习套件识别数字手写内容

借助机器学习套件的数字手写识别功能，您可以识别数字平面上数百种语言的手写文本，还可以对草图进行分类。

试试看

准备工作

  1. 请务必在项目级 build.gradle 文件中的 buildscript 和 allprojects 部分添加 Google 的 Maven 代码库。
  2. 将 Android 版机器学习套件库的依赖项添加到模块的应用级 Gradle 文件（通常为 app/build.gradle）：
dependencies {
  // ...
  implementation 'com.google.mlkit:digital-ink-recognition:18.1.0'
}

现在，您可以开始识别 Ink 对象中的文本了。

构建 Ink 对象

构建 Ink 对象的主要方法是在触摸屏上绘制它。在 Android 上，您可以使用 Canvas 来实现此目的。您的触摸事件处理脚本应调用以下代码段中所示的 addNewTouchEvent() 方法，以将用户绘制的笔触中的点存储到 Ink 对象中。

以下代码段演示了这种常规模式。如需查看更完整的示例，请参阅机器学习套件快速入门示例。

Kotlin

var inkBuilder = Ink.builder()
lateinit var strokeBuilder: Ink.Stroke.Builder

// Call this each time there is a new event.
fun addNewTouchEvent(event: MotionEvent) {
  val action = event.actionMasked
  val x = event.x
  val y = event.y
  var t = System.currentTimeMillis()

  // If your setup does not provide timing information, you can omit the
  // third paramater (t) in the calls to Ink.Point.create
  when (action) {
    MotionEvent.ACTION_DOWN -> {
      strokeBuilder = Ink.Stroke.builder()
      strokeBuilder.addPoint(Ink.Point.create(x, y, t))
    }
    MotionEvent.ACTION_MOVE -> strokeBuilder!!.addPoint(Ink.Point.create(x, y, t))
    MotionEvent.ACTION_UP -> {
      strokeBuilder.addPoint(Ink.Point.create(x, y, t))
      inkBuilder.addStroke(strokeBuilder.build())
    }
    else -> {
      // Action not relevant for ink construction
    }
  }
}

...

// This is what to send to the recognizer.
val ink = inkBuilder.build()

Java

Ink.Builder inkBuilder = Ink.builder();
Ink.Stroke.Builder strokeBuilder;

// Call this each time there is a new event.
public void addNewTouchEvent(MotionEvent event) {
  float x = event.getX();
  float y = event.getY();
  long t = System.currentTimeMillis();

  // If your setup does not provide timing information, you can omit the
  // third paramater (t) in the calls to Ink.Point.create
  int action = event.getActionMasked();
  switch (action) {
    case MotionEvent.ACTION_DOWN:
      strokeBuilder = Ink.Stroke.builder();
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      break;
    case MotionEvent.ACTION_MOVE:
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      break;
    case MotionEvent.ACTION_UP:
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      inkBuilder.addStroke(strokeBuilder.build());
      strokeBuilder = null;
      break;
  }
}

...

// This is what to send to the recognizer.
Ink ink = inkBuilder.build();

获取 DigitalInkRecognizer 的实例

如需执行识别，请将 Ink 实例发送到 DigitalInkRecognizer 对象。以下代码展示了如何从 BCP-47 标记实例化此类识别器。

Kotlin

// Specify the recognition model for a language
var modelIdentifier: DigitalInkRecognitionModelIdentifier
try {
  modelIdentifier = DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US")
} catch (e: MlKitException) {
  // language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
  // no model was found, handle error.
}
var model: DigitalInkRecognitionModel =
    DigitalInkRecognitionModel.builder(modelIdentifier).build()


// Get a recognizer for the language
var recognizer: DigitalInkRecognizer =
    DigitalInkRecognition.getClient(
        DigitalInkRecognizerOptions.builder(model).build())

Java

// Specify the recognition model for a language
DigitalInkRecognitionModelIdentifier modelIdentifier;
try {
  modelIdentifier =
    DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US");
} catch (MlKitException e) {
  // language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
  // no model was found, handle error.
}

DigitalInkRecognitionModel model =
    DigitalInkRecognitionModel.builder(modelIdentifier).build();

// Get a recognizer for the language
DigitalInkRecognizer recognizer =
    DigitalInkRecognition.getClient(
        DigitalInkRecognizerOptions.builder(model).build());

处理 Ink 对象

Kotlin

recognizer.recognize(ink)
    .addOnSuccessListener { result: RecognitionResult ->
      // `result` contains the recognizer's answers as a RecognitionResult.
      // Logs the text from the top candidate.
      Log.i(TAG, result.candidates[0].text)
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error during recognition: $e")
    }

Java

recognizer.recognize(ink)
    .addOnSuccessListener(
        // `result` contains the recognizer's answers as a RecognitionResult.
        // Logs the text from the top candidate.
        result -> Log.i(TAG, result.getCandidates().get(0).getText()))
    .addOnFailureListener(
        e -> Log.e(TAG, "Error during recognition: " + e));

上述示例代码假定已下载识别模型，如下一部分所述。

管理模型下载

虽然数字手写识别 API 支持数百种语言，但每种语言都需要先下载一些数据，然后才能进行识别。每种语言需要大约 20MB 的存储空间。这由 RemoteModelManager 对象处理。

下载新模型

Kotlin

import com.google.mlkit.common.model.DownloadConditions
import com.google.mlkit.common.model.RemoteModelManager

var model: DigitalInkRecognitionModel =  ...
val remoteModelManager = RemoteModelManager.getInstance()

remoteModelManager.download(model, DownloadConditions.Builder().build())
    .addOnSuccessListener {
      Log.i(TAG, "Model downloaded")
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error while downloading a model: $e")
    }

Java

import com.google.mlkit.common.model.DownloadConditions;
import com.google.mlkit.common.model.RemoteModelManager;

DigitalInkRecognitionModel model = ...;
RemoteModelManager remoteModelManager = RemoteModelManager.getInstance();

remoteModelManager
    .download(model, new DownloadConditions.Builder().build())
    .addOnSuccessListener(aVoid -> Log.i(TAG, "Model downloaded"))
    .addOnFailureListener(
        e -> Log.e(TAG, "Error while downloading a model: " + e));

检查模型是否已下载

Kotlin

var model: DigitalInkRecognitionModel =  ...
remoteModelManager.isModelDownloaded(model)

Java

DigitalInkRecognitionModel model = ...;
remoteModelManager.isModelDownloaded(model);

删除下载的模型

从设备存储空间中移除模型可释放空间。

Kotlin

var model: DigitalInkRecognitionModel =  ...
remoteModelManager.deleteDownloadedModel(model)
    .addOnSuccessListener {
      Log.i(TAG, "Model successfully deleted")
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error while deleting a model: $e")
    }

Java

DigitalInkRecognitionModel model = ...;
remoteModelManager.deleteDownloadedModel(model)
                  .addOnSuccessListener(
                      aVoid -> Log.i(TAG, "Model successfully deleted"))
                  .addOnFailureListener(
                      e -> Log.e(TAG, "Error while deleting a model: " + e));

提高文字识别准确度的提示

文本识别准确性因语言而异。准确性还取决于写作风格。虽然数字手写识别功能经过训练可处理多种手写风格，但结果可能会因用户而异。

以下是提高文本识别器准确性的一些方法。请注意，这些技术不适用于表情符号、AutoDraw 和形状的绘图分类器。

手写区域

许多应用都有明确定义的书写区域，供用户输入内容。符号的含义在一定程度上取决于其相对于包含它的书写区域的大小。例如，小写字母“o”或“c”与大写字母“O”或“C”之间的区别，以及英文逗号与正斜线之间的区别。

告知识别器手写区域的宽度和高度有助于提高准确性。不过，识别器假定手写区域只包含一行文本。如果实际手写区域足够大，可以让用户写两行或更多行，那么您可以传入一个 WritingArea，并将其高度设为您对单行文本高度的最佳估算值，以获得更好的结果。您传递给识别器的 WritingArea 对象不必与屏幕上的实际手写区域完全对应。以这种方式更改 WritingArea 高度在某些语言中比在其他语言中效果更好。

指定书写区域时，请使用与笔触坐标相同的单位指定其宽度和高度。x,y 坐标参数没有单位要求 - API 会对所有单位进行标准化，因此唯一重要的是笔触的相对大小和位置。您可以随意以对您的系统有意义的任何比例传入坐标。

前情境

前文本是指您尝试识别的 Ink 中的笔画前面的文本。您可以通过告知识别器前情境来帮助识别器。

例如，手写体字母“n”和“u”经常会被误认为是同一个字母。如果用户已输入部分字词“arg”，则可能会继续输入可识别为“ument”或“nment”的笔画。指定前情境“arg”可解析歧义，因为“argument”一词比“argnment”更可能。

前文还可以帮助识别程序识别单词间隔符和单词之间的空格。您可以输入空格字符，但无法绘制空格，那么识别器如何确定一个字词的结束和下一个字词的开始？如果用户已写出“hello”，并继续写出“world”，那么在没有前文的情况下，识别器会返回字符串“world”。但是，如果您指定前情境“hello”，模型将返回带有前导空格的字符串“world”，因为“hello world”比“helloword”更有意义。

您应提供尽可能长的上下文前字符串，最多 20 个字符（包括空格）。如果字符串更长，则识别器只会使用最后 20 个字符。

以下代码示例展示了如何定义写入区域，以及如何使用 RecognitionContext 对象指定前情境。

Kotlin

var preContext : String = ...;
var width : Float = ...;
var height : Float = ...;
val recognitionContext : RecognitionContext =
    RecognitionContext.builder()
        .setPreContext(preContext)
        .setWritingArea(WritingArea(width, height))
        .build()

recognizer.recognize(ink, recognitionContext)

Java

String preContext = ...;
float width = ...;
float height = ...;
RecognitionContext recognitionContext =
    RecognitionContext.builder()
                      .setPreContext(preContext)
                      .setWritingArea(new WritingArea(width, height))
                      .build();

recognizer.recognize(ink, recognitionContext);

笔画排序

识别准确性对笔画顺序非常敏感。识别器希望笔画的顺序与人们自然书写的顺序一致；例如，英文从左到右。任何偏离此模式的情况（例如从最后一个字词开始写英语句子）都会导致结果不准确。

再举一个例子，如果移除 Ink 中间的某个字词并将其替换为其他字词，修改内容可能位于句子中间，但修改内容的笔画位于笔画序列的末尾。在这种情况下，我们建议您将新写的字单独发送给 API，并使用您自己的逻辑将结果与之前的识别结果合并。

处理模糊的形状

在某些情况下，向识别器提供的形状的含义不明确。例如，边缘非常圆润的矩形可以被视为矩形或椭圆形。

在可用的情况下，可以使用识别得分来处理这些不确定的情况。只有形状分类器会提供得分。如果模型非常自信，则首个结果的分数将远远高于第二个结果的分数。如果存在不确定性，前两项结果的得分将会接近。此外，请注意，形状分类器会将整个 Ink 解读为单个形状。例如，如果 Ink 包含彼此相邻的矩形和椭圆形，则识别器可能会返回其中一个（或完全不同的东西），因为单个识别候选项无法代表两个形状。