ニュース・知財情報

AI Times寄稿:AIエージェントは画面をどう読み取るか

金容徳弁理士が、Anthropicの画面画像処理特許を解説。特許の開示内容とClaudeの実装を区別して検討します。

Anthropicの画面理解特許を解説した金容徳弁理士のAI Times寄稿案内

金容徳弁理士の新たな寄稿

IPLEXの代表弁理士、金容徳によるAI特許の解説が、韓国のAI専門メディア「AI Times」に掲載されました。Anthropicが保有する米国特許第12,387,036号を題材に、利用者の指示をコンピュータ上の操作につなげるための視覚情報処理を取り上げています。

指示の意味を理解するだけでは、画面を操作できません。文字、ボタン、メニュー、入力欄を識別し、それぞれの位置と指示された操作を対応付ける必要があります。Claudeのコンピュータ使用機能は、こうしたソフトウェア画面の理解という課題を示す一例です。

画面をトークンの列に変換する

紹介する方式では、解像度の異なる画像を小さなパッチに分割し、行ごとに並べます。連続する行の間に改行文字を挿入することで、パッチを一次元のトークン列に変換しても、画像の二次元的な配置に関する情報を表現します。

画像の情報と利用者の自然言語による指示を一つのトークン列にまとめ、トランスフォーマーで処理します。空間的な関係を保つことは、画面全体の理解に加え、小さなボタンや入力欄の位置を把握するうえでも意味を持ち得ます。寄稿では、画面を言語モデルが扱える構造化入力に変える考え方を説明しています。

特許の開示と製品の実装を区別する

この特許は、さまざまなソフトウェア画面を扱うエージェントの視覚入力について、具体的な方法を示しています。ただし、記載された構成のすべてが現在のClaudeのコンピュータ使用機能に実装されていると断定することはできません。特許文献の開示と商用モデルの内部構造は、分けて検討する必要があります。

寄稿では、生成AIの用途が回答の生成からデジタル環境での作業へ広がる動きの中で、この技術的課題を位置付けています。全文は下記リンクからAI Timesでご覧いただけます。

原図の表記と形状を保持しています。資料の内容は本文で説明しています。

AI Timesの寄稿全文を読む

韓国語原文を読む

この記事は公表時点の情報に基づいています。個別の事情については、当事務所にご相談ください。
この分野について相談 ↗記事一覧

技術と知的財産の次の一歩を、IPLEXと。