
金容德专利代理师的新专栏
IPLEX代表专利代理师金容德的AI专利专栏已发表于韩国人工智能专业媒体AI Times。文章以Anthropic持有的美国第12,387,036号专利为切入点,讨论AI智能体如何处理视觉信息,将用户指令与计算机操作联系起来。
理解指令只是完成操作的一部分。智能体还需要区分屏幕上的文字、按钮、菜单和输入框,并把各元素的位置与用户要求的操作对应起来。Claude的计算机使用功能体现了理解软件界面这一更广泛的技术课题。
把屏幕转换为词元序列
专栏介绍的方案将不同分辨率的图像切分为小图像块,再按行排列。在相邻行之间加入换行符,使二维图像在转换为一维词元序列后,仍能表达其行列布局信息。
图像信息与用户的自然语言指令随后合并为同一词元流,交由Transformer处理。保留空间关系既有助于理解整体画面,也可能帮助模型定位细小按钮和输入框。文章说明了如何将视觉界面转换成语言模型可处理的结构化输入。
区分专利披露与产品实现
该专利为跨软件界面工作的智能体提供了一种具体的视觉输入处理方案,但并不能据此认定其全部技术特征已经用于Claude目前的计算机使用功能。专利文献的披露与商业模型的内部实现需要分别考察。
文章将这一技术问题置于生成式AI从生成回答走向执行数字环境任务的发展背景下。完整专栏可通过下方链接在AI Times阅读。
图中保留原始标注与形态,相关内容在正文中说明。
