1．翻訳が終わるまでに映像は変わる
展示会の英語の案内板をスマートフォンで映している場面を考えます。韓国語の訳文が得られるまでに手が少し動くと、案内板の位置や傾きは変わります。訳文が正しくても、元の座標に表示したままでは対応する文章が分かりません。ネイバーの米国特許US12197883B2は、この時間差と位置合わせを扱う拡張現実型の画像翻訳処理を開示しています。Papagoの製品紹介は利用場面を理解する手掛かりですが、特許の記載だけから現行製品の個々の実装まで確認できるわけではありません。
2．バッファから読み取りに適したフレームを選ぶ
動画は連続する静止画、すなわちフレームから構成されます。本件では複数の直近フレームをバッファに一時保存し、所定の基準を満たすものを選びます。明るさ、鮮明さ、文字やエッジの数、画像処理の程度などが選択基準となり得ます。最新フレームを常に採用するのではなく、一時的な手ぶれの前後にある読みやすい画像を利用する考え方です。保存枚数、選択条件、次の処理を始める時点も、翻訳モデルと並ぶ設計上の検討事項です。
3．文字認識と翻訳領域の設定
OCR、つまり光学式文字認識は、画素として写った文字を処理可能な文字情報に変換します。その文字情報を別言語に訳す処理とは区別されます。明細書には、ニューラルネットワークを用いる文字認識や、外部の画像翻訳装置を利用する例が記載されています。さらに、文字と周囲の特徴から訳文を表示する領域を定めます。見出しと時刻表が並ぶ案内板では、訳文同士を取り違えないためにも位置関係が必要です。図9は、フレーム保存、選択、翻訳、領域決定、別フレームへの描画という処理の流れを示します。
4．現在の映像への位置合わせ
基準フレームで中央にあった案内板は、後続フレームでは横にずれ、斜めの四辺形に見えることがあります。角や周囲の模様などの特徴点を対応付け、特徴変換モデルによって翻訳領域の移動先を求めます。一例として開示されるホモグラフィは、平面を異なる視点から見た画像間の対応に利用できる射影変換です。その領域に訳文を重ねて描画する処理がレンダリングです。翻訳内容と表示位置の計算を分けることで、カメラ映像が変化する間も結果の表示先を更新できます。
5．時間差に応じてマッチングと追跡を使い分ける
本件は、時間間隔が長いフレーム間と短いフレーム間とで、位置合わせの処理を選択します。間隔が長い場合には、両方の画像から特徴点と記述子を抽出してマッチングし、変換を推定する例があります。短い場合には、オプティカルフローを用いて既知の特徴点の移動を追跡します。翻訳モデルの違いではなく、表示領域を更新する手段の違いです。架空の案内板の「TODAY’S PROGRAM」を韓国語に訳し、撮影位置の変化に合わせて重ね直す図は、この関係を説明するものです。特徴点は模式化されており、製品の実測結果ではありません。
6．古くなった翻訳結果を更新する
カメラが別の案内板に移っても、以前の訳文を使い続けるわけにはいきません。図10では描画後に所定時間の経過を確認し、経過していなければ領域を維持して表示を続け、経過していれば新しいフレームの保存・選択と翻訳に戻ります。別の実施例には、時間差や動きの差が大きいときに以前の結果を表示せず、新たな処理を始めるものもあります。これは訳文が現在の映像に対応しているかを扱う更新規則であり、訳文そのものの言語的な正確さを判定する機能とは異なります。
7．AI製品の設計と特許検討への示唆
Papagoの紹介は画像翻訳やARによるリアルタイム翻訳を説明し、ネイバークラウドの資料は文字認識後に翻訳テキスト又は訳文を合成した画像を返す機能を説明しています。開発では、入力の選択、処理中の画面変化、表示領域を再計算する条件まで確認する必要があります。静止した案内板、緩やかな移動、斜めからの撮影、対象の切替えを分け、入力・表示フレームと更新判断を記録すると工程ごとの課題を把握しやすくなります。特許実務では「看板を翻訳する」という抽象的機能だけでなく、請求項に記載された処理の組合せを検討します。原図と架空の例は、その技術的関係を理解するための資料として位置付けます。