ニュース・知財情報

Appleの文字認識特許:写真の電話番号やURLを操作につなぐ

US12001642B2の認識文字、画像座標、文字種別、ユーザー入力から操作メニューまでの流れを解説します。

認識した文字を画像上の位置と種類に結び付けます。
認識した文字を画像上の位置と種類に結び付けます。

写真の文字を読み取るだけでは、電話やウェブ閲覧の操作は完成しません。Appleの特許は、文字の位置と種類を関連付け、ユーザーが選んだ対象に応じた操作を提示する流れを示しています。

1. ポスターの画像から操作可能な文字へ

イベント名、電話番号、URLが書かれたポスターを撮影した場面を考えます。OCRで文字列を得ても、どの行をユーザーが選んだかを判断する処理が必要です。

AppleのUS12001642B2は2024年6月4日に付与され、画像やカメラプレビューの認識文字を扱う操作を説明しています。ここでの焦点は画面上の処理であり、新しいOCR算法の発明と断定するものではありません。

認識、位置対応、文字の種類、選択、操作という流れを分けて捉えます。それぞれに独立した成功や誤りが生じます。

2. 文字と画像上の位置を対応させる

図6Cは認識領域や文字の大きさ・位置などの目立ちやすさを扱います。これらは強調する文字の選択にも関係します。

図6Dでは表示内容が変化します。画像やプレビューが動いても、表示する認識領域と見えている文字を対応させる必要があります。

文字列自体が正しくても、タップで隣の行が選ばれては適切に操作できません。座標と文字の関連付けが重要です。

3. 文字の種類から操作候補を絞る

特許は正規表現のパターンなどを用い、電話番号やメールアドレスを判定するデータ検出を説明しています。形式は地域や文脈によって異なります。

図6Cでは住所や電話番号に下線などの表示を付けます。図6N・6Oでは電話番号への入力を、発信や、発信・メッセージ・連絡先追加・コピーのメニューにつなげます。

図6Lには通常の文字のコピーや共有も示されています。種類に応じて候補を絞るのであって、数値ならすべて電話をかけるという処理ではありません。

4. 仮想のポスターで三つの選択

イベント名を長押ししてコピーし、電話番号を選んで発信またはコピーし、URLを選んでブラウザを開く場面を想定します。

図は選んだ領域、判定した種類、利用可能な操作を分けて示しています。一枚の写真でも行によって選択肢が変わります。

これらはユーザーの入力に基づく操作です。カメラが番号を認識するだけで自動発信することとは区別します。

5. Appleの公開資料との関係

iPhoneユーザガイドは、写真や一時停止したビデオの文字を選択、コピー、共有、翻訳する機能を説明しています。カメラの別ガイドではライブ画面のテキスト認識表示を扱います。

仮想のポスターでコピー、電話、ウェブへの移動を区別します。
仮想のポスターでコピー、電話、ウェブへの移動を区別します。

WWDC 2022のVisionKit解説は、画像解析と操作を区別し、住所の地図表示、番号の発信、URLへの移動などを説明しています。

これらは利用者側の機能を理解する資料です。特定の製品版がどの請求項を実施するかを、それだけで確定するものではありません。

6. 操作全体を評価する

OCR、座標対応、種別判定、実行操作を分けて評価します。正しい文字が別の行に対応する誤りと、注文番号を電話番号とみなす誤りは異なります。

反射、部分的な遮蔽、拡大縮小、回転を含め、表示変化の後も選択位置が合うかを確認します。外部動作の前に示す情報も、ユーザーの判断に関係します。

技術資料ではデータの流れ、状態条件、座標の関連付け、操作選択を具体化します。条件を揃えた画像比較により、改善箇所をすべてOCR精度にまとめず説明できます。

原図の表記と形状を保持しています。資料の内容は本文で説明しています。

イベントポスターは仮想例です。公開製品資料のみから特定の請求項の実施を確認したものではありません。

USPTO特許公報US12001642B2

Apple:写真とビデオのテキスト認識表示

Apple:カメラのテキスト認識表示

WWDC 2022:VisionKitのLive Text操作

ネイバーの画像翻訳特許を読む―動くカメラ映像に訳文を重ねる仕組み

Googleの文書理解特許:見出し・本文・画像の配置を併せて読み取る仕組み

文字認識と操作をつなぐインターフェースの整理には、IPLEXのAIプロジェクトと相談準備資料をご覧ください。

AI・特許業務のご案内

Tistory原文

韓国語原文を読む

この記事は公表時点の情報に基づいています。個別の事情については、当事務所にご相談ください。
この分野について相談 ↗記事一覧

技術と知的財産の次の一歩を、IPLEXと。