ML Kit を使用してデジタルインクを認識する(Android)

ML Kit のデジタルインク認識を使用すると、デジタル表示面に手書きされたテキストを数百もの言語で認識できるほか、スケッチを分類することもできます。

試してみる

始める前に

  1. プロジェクト レベルの build.gradle ファイルにおいて、buildscript セクションと allprojects セクションの両方に Google の Maven リポジトリを組み込みます。
  2. ML Kit Android ライブラリの依存関係をモジュールのアプリレベルの Gradle ファイル(通常は app/build.gradle)に追加します。
dependencies {
  // ...
  implementation 'com.google.mlkit:digital-ink-recognition:19.0.0'
}

これで、Ink オブジェクト内のテキストを認識する準備が整いました。

Ink オブジェクトを作成する

Ink オブジェクトを作成する主な方法は、タッチスクリーンに描画することです。Android では、この目的で Canvas を使用できます。タッチイベント ハンドラは、次のコード スニペットに示す addNewTouchEvent() メソッドを呼び出して、ユーザーが描画したストロークのポイントを Ink オブジェクトに保存する必要があります。

この一般的なパターンを次のコード スニペットに示します。より完全な例については、ML Kit クイックスタート サンプルをご覧ください。

Kotlin

var inkBuilder = Ink.builder()
lateinit var strokeBuilder: Ink.Stroke.Builder

// Call this each time there is a new event.
fun addNewTouchEvent(event: MotionEvent) {
  val action = event.actionMasked
  val x = event.x
  val y = event.y
  var t = System.currentTimeMillis()

  // If your setup does not provide timing information, you can omit the
  // third paramater (t) in the calls to Ink.Point.create
  when (action) {
    MotionEvent.ACTION_DOWN -> {
      strokeBuilder = Ink.Stroke.builder()
      strokeBuilder.addPoint(Ink.Point.create(x, y, t))
    }
    MotionEvent.ACTION_MOVE -> strokeBuilder!!.addPoint(Ink.Point.create(x, y, t))
    MotionEvent.ACTION_UP -> {
      strokeBuilder.addPoint(Ink.Point.create(x, y, t))
      inkBuilder.addStroke(strokeBuilder.build())
    }
    else -> {
      // Action not relevant for ink construction
    }
  }
}

...

// This is what to send to the recognizer.
val ink = inkBuilder.build()

Java

Ink.Builder inkBuilder = Ink.builder();
Ink.Stroke.Builder strokeBuilder;

// Call this each time there is a new event.
public void addNewTouchEvent(MotionEvent event) {
  float x = event.getX();
  float y = event.getY();
  long t = System.currentTimeMillis();

  // If your setup does not provide timing information, you can omit the
  // third paramater (t) in the calls to Ink.Point.create
  int action = event.getActionMasked();
  switch (action) {
    case MotionEvent.ACTION_DOWN:
      strokeBuilder = Ink.Stroke.builder();
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      break;
    case MotionEvent.ACTION_MOVE:
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      break;
    case MotionEvent.ACTION_UP:
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      inkBuilder.addStroke(strokeBuilder.build());
      strokeBuilder = null;
      break;
  }
}

...

// This is what to send to the recognizer.
Ink ink = inkBuilder.build();

DigitalInkRecognizer のインスタンスを取得する

認識を実行するには、Ink インスタンスを DigitalInkRecognizer オブジェクトに送信します。次のコードは、BCP-47 タグからこのような認識ツールをインスタンス化する方法を示しています。

Kotlin

// Specify the recognition model for a language
var modelIdentifier: DigitalInkRecognitionModelIdentifier
try {
  modelIdentifier = DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US")
} catch (e: MlKitException) {
  // language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
  // no model was found, handle error.
}
var model: DigitalInkRecognitionModel =
    DigitalInkRecognitionModel.builder(modelIdentifier).build()


// Get a recognizer for the language
var recognizer: DigitalInkRecognizer =
    DigitalInkRecognition.getClient(
        DigitalInkRecognizerOptions.builder(model).build())

Java

// Specify the recognition model for a language
DigitalInkRecognitionModelIdentifier modelIdentifier;
try {
  modelIdentifier =
    DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US");
} catch (MlKitException e) {
  // language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
  // no model was found, handle error.
}

DigitalInkRecognitionModel model =
    DigitalInkRecognitionModel.builder(modelIdentifier).build();

// Get a recognizer for the language
DigitalInkRecognizer recognizer =
    DigitalInkRecognition.getClient(
        DigitalInkRecognizerOptions.builder(model).build());

Ink オブジェクトを処理する

Kotlin

recognizer.recognize(ink)
    .addOnSuccessListener { result: RecognitionResult ->
      // `result` contains the recognizer's answers as a RecognitionResult.
      // Logs the text from the top candidate.
      Log.i(TAG, result.candidates[0].text)
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error during recognition: $e")
    }

Java

recognizer.recognize(ink)
    .addOnSuccessListener(
        // `result` contains the recognizer's answers as a RecognitionResult.
        // Logs the text from the top candidate.
        result -> Log.i(TAG, result.getCandidates().get(0).getText()))
    .addOnFailureListener(
        e -> Log.e(TAG, "Error during recognition: " + e));

上記のサンプルコードは、次のセクションで説明するように、認識モデルがすでにダウンロードされていることを前提としています。

モデルのダウンロードを管理する

デジタル インク認識 API は数百もの言語をサポートしていますが、認識を行う前に各言語のデータをダウンロードする必要があります。言語ごとに約 20 MB のストレージが必要です。これは RemoteModelManager オブジェクトによって処理されます。

新しいモデルをダウンロードする

Kotlin

import com.google.mlkit.common.model.DownloadConditions
import com.google.mlkit.common.model.RemoteModelManager

var model: DigitalInkRecognitionModel =  ...
val remoteModelManager = RemoteModelManager.getInstance()

remoteModelManager.download(model, DownloadConditions.Builder().build())
    .addOnSuccessListener {
      Log.i(TAG, "Model downloaded")
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error while downloading a model: $e")
    }

Java

import com.google.mlkit.common.model.DownloadConditions;
import com.google.mlkit.common.model.RemoteModelManager;

DigitalInkRecognitionModel model = ...;
RemoteModelManager remoteModelManager = RemoteModelManager.getInstance();

remoteModelManager
    .download(model, new DownloadConditions.Builder().build())
    .addOnSuccessListener(aVoid -> Log.i(TAG, "Model downloaded"))
    .addOnFailureListener(
        e -> Log.e(TAG, "Error while downloading a model: " + e));

モデルがすでにダウンロードされているかどうかを確認する

Kotlin

var model: DigitalInkRecognitionModel =  ...
remoteModelManager.isModelDownloaded(model)

Java

DigitalInkRecognitionModel model = ...;
remoteModelManager.isModelDownloaded(model);

ダウンロードしたモデルを削除する

モデルをデバイスのストレージから削除すると、空き容量が増えます。

Kotlin

var model: DigitalInkRecognitionModel =  ...
remoteModelManager.deleteDownloadedModel(model)
    .addOnSuccessListener {
      Log.i(TAG, "Model successfully deleted")
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error while deleting a model: $e")
    }

Java

DigitalInkRecognitionModel model = ...;
remoteModelManager.deleteDownloadedModel(model)
                  .addOnSuccessListener(
                      aVoid -> Log.i(TAG, "Model successfully deleted"))
                  .addOnFailureListener(
                      e -> Log.e(TAG, "Error while deleting a model: " + e));

テキスト認識の精度を高めるためのヒント

テキスト認識の精度は、言語によって異なる場合があります。精度は文章のスタイルにも左右されます。デジタル インク認識はさまざまな筆記スタイルに対応するようにトレーニングされていますが、結果はユーザーによって異なる場合があります。

テキスト認識ツールの精度を高める方法は次のとおりです。これらの手法は、絵文字、自動描画、図形の描画分類子には適用されません。

書き込み領域

多くのアプリケーションには、ユーザー入力用の書き込み領域が明確に定義されています。記号の意味は、記号を含む書き込み領域のサイズに対する記号の相対的なサイズによって部分的に決定されます。たとえば、小文字と大文字の「o」や「c」の違い、カンマとスラッシュの違いなどです。

認識ツールに書き込み領域の幅と高さを伝えることで、精度を向上させることができます。ただし、認識ツールは、書き込み領域に 1 行のテキストのみが含まれていることを前提としています。物理的な書き込み領域が、ユーザーが 2 行以上書き込めるほど大きい場合は、1 行のテキストの高さの最良の推定値である高さを持つ WritingArea を渡すことで、より良い結果が得られる可能性があります。認識ツールに渡す WritingArea オブジェクトは、画面上の物理的な書き込み領域と正確に対応している必要はありません。この方法で WritingArea の高さを変更すると、言語によってはうまく動作しないことがあります。

書き込み領域を指定する場合は、ストローク座標と同じ単位で幅と高さを指定します。x,y 座標引数には単位の要件はありません。API はすべての単位を正規化するため、ストロークの相対的なサイズと位置のみが重要になります。システムに適したスケールで座標を渡すことができます。

事前コンテキスト

プリコンテキストは、認識しようとしている Ink のストロークの直前のテキストです。認識ツールに事前コンテキストを伝えることで、認識ツールをサポートできます。

たとえば、筆記体の「n」と「u」はよく混同されます。ユーザーが「arg」という単語の一部をすでに入力している場合、その後に「ument」または「nment」と認識されるストロークを続ける可能性があります。事前コンテキスト「arg」を指定すると、「argnment」よりも「argument」という単語の可能性が高くなるため、曖昧さが解消されます。

プリコンテキストは、単語の区切り(単語間のスペース)を認識するのにも役立ちます。スペース文字を入力することはできますが、描画することはできません。では、認識ツールは単語の区切りをどのように判断するのでしょうか?ユーザーがすでに「hello」と入力しており、続けて「world」と入力した場合、事前コンテキストがないため、認識ツールは文字列「world」を返します。ただし、事前コンテキストとして「hello」を指定すると、モデルは「helloword」よりも「hello world」の方が意味が通るため、先頭にスペースが付いた文字列「 world」を返します。

スペースを含め、20 文字以内の可能な限り長いプリコンテキスト文字列を指定する必要があります。文字列がこれより長い場合、認識ツールは最後の 20 文字のみを使用します。

次のコードサンプルは、書き込み領域を定義し、RecognitionContext オブジェクトを使用してプリコンテキストを指定する方法を示しています。

Kotlin

var preContext : String = ...;
var width : Float = ...;
var height : Float = ...;
val recognitionContext : RecognitionContext =
    RecognitionContext.builder()
        .setPreContext(preContext)
        .setWritingArea(WritingArea(width, height))
        .build()

recognizer.recognize(ink, recognitionContext)

Java

String preContext = ...;
float width = ...;
float height = ...;
RecognitionContext recognitionContext =
    RecognitionContext.builder()
                      .setPreContext(preContext)
                      .setWritingArea(new WritingArea(width, height))
                      .build();

recognizer.recognize(ink, recognitionContext);

ストロークの順序

認識精度はストロークの順序に左右されます。認識ツールは、人が自然に書く順序でストロークが発生することを想定しています。たとえば、英語の場合は左から右です。最後の単語で始まる英文を書くなど、このパターンから外れると、結果の精度が低下します。

別の例として、Ink の途中の単語が削除され、別の単語に置き換えられる場合があります。修正は文の途中にある可能性が高いですが、修正のストロークはストローク シーケンスの末尾にあります。この場合は、新しく書き込まれた単語を API に個別に送信し、独自のロジックを使用して結果を以前の認識結果と統合することをおすすめします。

曖昧な形状に対処する

認識ツールに提供されたシェイプの意味が曖昧な場合があります。たとえば、角が丸い長方形は、長方形または楕円として認識される可能性があります。

このような不明確なケースは、認識スコアが利用可能な場合は認識スコアを使用して処理できます。スコアを提供するシェイプ分類子は 1 つだけです。モデルの信頼性が高い場合、最上位の結果のスコアは 2 番目の結果よりもはるかに高くなります。不確実性がある場合、上位 2 つの結果のスコアは近くなります。また、シェイプ分類子は Ink 全体を 1 つのシェイプとして解釈することにも注意してください。たとえば、Ink に長方形と楕円が隣り合って含まれている場合、1 つの認識候補で 2 つの図形を表すことはできないため、認識ツールは結果としてどちらか一方(またはまったく異なるもの)を返す可能性があります。