# ネイバーの画像翻訳特許を読む―動くカメラ映像に訳文を重ねる仕組み 米国特許US12197883B2を題材に、フレーム選択、文字認識、表示位置の追跡と翻訳結果の更新を解説します。 Source: https://www.iplexlaw.co.kr/ja/blog/naver-papago-ar-image-translation ホーム / ニュース・知財情報 ニュース・知財情報 ネイバーの画像翻訳特許を読む―動くカメラ映像に訳文を重ねる仕組み 米国特許US12197883B2を題材に、フレーム選択、文字認識、表示位置の追跡と翻訳結果の更新を解説します。 AI・ソフトウェア 2026.10.08 公開 IPLEX 約9分で読めます フレーム選択と訳文の位置合わせを示す概念図 1．翻訳が終わるまでに映像は変わる 展示会の英語の案内板をスマートフォンで映している場面を考えます。韓国語の訳文が得られるまでに手が少し動くと、案内板の位置や傾きは変わります。訳文が正しくても、元の座標に表示したままでは対応する文章が分かりません。ネイバーの米国特許US12197883B2は、この時間差と位置合わせを扱う拡張現実型の画像翻訳処理を開示しています。Papagoの製品紹介は利用場面を理解する手掛かりですが、特許の記載だけから現行製品の個々の実装まで確認できるわけではありません。 2．バッファから読み取りに適したフレームを選ぶ 動画は連続する静止画、すなわちフレームから構成されます。本件では複数の直近フレームをバッファに一時保存し、所定の基準を満たすものを選びます。明るさ、鮮明さ、文字やエッジの数、画像処理の程度などが選択基準となり得ます。最新フレームを常に採用するのではなく、一時的な手ぶれの前後にある読みやすい画像を利用する考え方です。保存枚数、選択条件、次の処理を始める時点も、翻訳モデルと並ぶ設計上の検討事項です。 3．文字認識と翻訳領域の設定 OCR、つまり光学式文字認識は、画素として写った文字を処理可能な文字情報に変換します。その文字情報を別言語に訳す処理とは区別されます。明細書には、ニューラルネットワークを用いる文字認識や、外部の画像翻訳装置を利用する例が記載されています。さらに、文字と周囲の特徴から訳文を表示する領域を定めます。見出しと時刻表が並ぶ案内板では、訳文同士を取り違えないためにも位置関係が必要です。図9は、フレーム保存、選択、翻訳、領域決定、別フレームへの描画という処理の流れを示します。 US12197883B2の図9：フレームの保存・選択、翻訳、領域決定と別フレームへの描画 4．現在の映像への位置合わせ 基準フレームで中央にあった案内板は、後続フレームでは横にずれ、斜めの四辺形に見えることがあります。角や周囲の模様などの特徴点を対応付け、特徴変換モデルによって翻訳領域の移動先を求めます。一例として開示されるホモグラフィは、平面を異なる視点から見た画像間の対応に利用できる射影変換です。その領域に訳文を重ねて描画する処理がレンダリングです。翻訳内容と表示位置の計算を分けることで、カメラ映像が変化する間も結果の表示先を更新できます。 5．時間差に応じてマッチングと追跡を使い分ける 本件は、時間間隔が長いフレーム間と短いフレーム間とで、位置合わせの処理を選択します。間隔が長い場合には、両方の画像から特徴点と記述子を抽出してマッチングし、変換を推定する例があります。短い場合には、オプティカルフローを用いて既知の特徴点の移動を追跡します。翻訳モデルの違いではなく、表示領域を更新する手段の違いです。架空の案内板の「TODAY’S PROGRAM」を韓国語に訳し、撮影位置の変化に合わせて重ね直す図は、この関係を説明するものです。特徴点は模式化されており、製品の実測結果ではありません。 架空の展示案内板：英語から韓国語への翻訳とカメラ移動後の位置合わせ。原図の表記を保持 6．古くなった翻訳結果を更新する カメラが別の案内板に移っても、以前の訳文を使い続けるわけにはいきません。図10では描画後に所定時間の経過を確認し、経過していなければ領域を維持して表示を続け、経過していれば新しいフレームの保存・選択と翻訳に戻ります。別の実施例には、時間差や動きの差が大きいときに以前の結果を表示せず、新たな処理を始めるものもあります。これは訳文が現在の映像に対応しているかを扱う更新規則であり、訳文そのものの言語的な正確さを判定する機能とは異なります。 US12197883B2の図10：経過時間に応じた翻訳結果の維持と再処理 7．AI製品の設計と特許検討への示唆 Papagoの紹介は画像翻訳やARによるリアルタイム翻訳を説明し、ネイバークラウドの資料は文字認識後に翻訳テキスト又は訳文を合成した画像を返す機能を説明しています。開発では、入力の選択、処理中の画面変化、表示領域を再計算する条件まで確認する必要があります。静止した案内板、緩やかな移動、斜めからの撮影、対象の切替えを分け、入力・表示フレームと更新判断を記録すると工程ごとの課題を把握しやすくなります。特許実務では「看板を翻訳する」という抽象的機能だけでなく、請求項に記載された処理の組合せを検討します。原図と架空の例は、その技術的関係を理解するための資料として位置付けます。 Tistoryの原文を読む AI特許の専門分野を見る 韓国語原文を読む この記事は公表時点の情報に基づいています。個別の事情については、当事務所にご相談ください。 この分野について相談 ↗ 記事一覧 このページの内容 1．翻訳が終わるまでに映像は変わる 2．バッファから読み取りに適したフレームを選ぶ 3．文字認識と翻訳領域の設定 4．現在の映像への位置合わせ 5．時間差に応じてマッチングと追跡を使い分ける 6．古くなった翻訳結果を更新する 7．AI製品の設計と特許検討への示唆 IPLEXに相談 知的財産の課題を、 ご相談ください。 技術の内容と事業上のご要望を踏まえ、対応方針を共に検討します。 ↗ お問い合わせ 新しい記事 化学発明の実施可能要件―実験例と請求範囲のずれに注意 ↗ 前の記事 意匠の類否判断では組立て前の形態も重要です ↗ 関連インサイト 人工知能(AI) 2026.10.15 PaTH Attention――トークン間の経路を位置表現に組み込む 入力依存のHouseholder型変換を累積する仕組みと、状態追跡・長文評価で確認された効果及び限界を解説します。 ↗ 記事を読む 人工知能(AI) 2026.10.14 Huawei Pangu Weather：時間間隔の異なるモデルをつないで予報する仕組み 公開出願US20250258318A1をもとに、予測時間の選択、中間予測の受渡し、気象データの結合を解説します。 ↗ 記事を読む 人工知能(AI) 2026.10.13 LaCT：大きなチャンクで更新するAIの一時記憶 LaCTの高速重み、GPU効率、因果関係を守る更新順序と実験結果の適用範囲を技術的に解説します。 ↗ 記事を読む - https://www.iplexlaw.co.kr/ja - https://www.iplexlaw.co.kr/ja/blog/category/ai - https://iplexlaw.tistory.com/8 - https://www.iplexlaw.co.kr/ja/ai-patents - https://www.iplexlaw.co.kr/ko/blog/naver-papago-ar-image-translation - https://www.iplexlaw.co.kr/ja/contact - https://www.iplexlaw.co.kr/ja/blog - https://www.iplexlaw.co.kr/ja/blog/naver-papago-ar-image-translation#case-papago-en-0 - https://www.iplexlaw.co.kr/ja/blog/naver-papago-ar-image-translation#case-papago-en-1 - https://www.iplexlaw.co.kr/ja/blog/naver-papago-ar-image-translation#case-papago-en-2 - https://www.iplexlaw.co.kr/ja/blog/naver-papago-ar-image-translation#case-papago-en-3 - https://www.iplexlaw.co.kr/ja/blog/naver-papago-ar-image-translation#case-papago-en-4 - https://www.iplexlaw.co.kr/ja/blog/naver-papago-ar-image-translation#case-papago-en-5 - https://www.iplexlaw.co.kr/ja/blog/naver-papago-ar-image-translation#case-papago-en-6 - https://www.iplexlaw.co.kr/ja/contact - https://www.iplexlaw.co.kr/ja/blog/brunch-case-1809 - https://www.iplexlaw.co.kr/ja/blog/brunch-case-1806 - https://www.iplexlaw.co.kr/ja/blog/path-attention-householder-transformations - https://www.iplexlaw.co.kr/ja/blog/path-attention-householder-transformations - https://www.iplexlaw.co.kr/ja/blog/huawei-pangu-weather-time-interval-models - https://www.iplexlaw.co.kr/ja/blog/huawei-pangu-weather-time-interval-models - https://www.iplexlaw.co.kr/ja/blog/lact-large-chunk-test-time-training - https://www.iplexlaw.co.kr/ja/blog/lact-large-chunk-test-time-training