新闻与洞见

AI Times专栏:AI智能体如何读懂计算机屏幕

金容德专利代理师解读Anthropic的屏幕图像处理专利,并区分专利公开内容与Claude产品的实际实现。

金容德专利代理师在AI Times发表Anthropic屏幕理解专利解读的介绍图片

金容德专利代理师的新专栏

IPLEX代表专利代理师金容德的AI专利专栏已发表于韩国人工智能专业媒体AI Times。文章以Anthropic持有的美国第12,387,036号专利为切入点,讨论AI智能体如何处理视觉信息,将用户指令与计算机操作联系起来。

理解指令只是完成操作的一部分。智能体还需要区分屏幕上的文字、按钮、菜单和输入框,并把各元素的位置与用户要求的操作对应起来。Claude的计算机使用功能体现了理解软件界面这一更广泛的技术课题。

把屏幕转换为词元序列

专栏介绍的方案将不同分辨率的图像切分为小图像块,再按行排列。在相邻行之间加入换行符,使二维图像在转换为一维词元序列后,仍能表达其行列布局信息。

图像信息与用户的自然语言指令随后合并为同一词元流,交由Transformer处理。保留空间关系既有助于理解整体画面,也可能帮助模型定位细小按钮和输入框。文章说明了如何将视觉界面转换成语言模型可处理的结构化输入。

区分专利披露与产品实现

该专利为跨软件界面工作的智能体提供了一种具体的视觉输入处理方案,但并不能据此认定其全部技术特征已经用于Claude目前的计算机使用功能。专利文献的披露与商业模型的内部实现需要分别考察。

文章将这一技术问题置于生成式AI从生成回答走向执行数字环境任务的发展背景下。完整专栏可通过下方链接在AI Times阅读。

图中保留原始标注与形态,相关内容在正文中说明。

阅读AI Times专栏全文

查看韩文原文

本文基于发表时的情况撰写。如需就具体事项咨询,请联系IPLEX。
咨询相关业务 ↗全部文章

与IPLEX探讨技术保护与知识产权布局的下一步。