# AI Times专栏：AI智能体如何读懂计算机屏幕

金容德专利代理师解读Anthropic的屏幕图像处理专利，并区分专利公开内容与Claude产品的实际实现。

Source: https://www.iplexlaw.co.kr/zh/blog/aitimes-anthropic-screen-understanding

首页 / 新闻与洞见 新闻与洞见 AI Times专栏：AI智能体如何读懂计算机屏幕 金容德专利代理师解读Anthropic的屏幕图像处理专利，并区分专利公开内容与Claude产品的实际实现。 新闻 2026.11.10 已出版 IPLEX 阅读约2分钟 金容德专利代理师的新专栏 IPLEX代表专利代理师金容德的AI专利专栏已发表于韩国人工智能专业媒体AI Times。文章以Anthropic持有的美国第12,387,036号专利为切入点，讨论AI智能体如何处理视觉信息，将用户指令与计算机操作联系起来。 理解指令只是完成操作的一部分。智能体还需要区分屏幕上的文字、按钮、菜单和输入框，并把各元素的位置与用户要求的操作对应起来。Claude的计算机使用功能体现了理解软件界面这一更广泛的技术课题。 把屏幕转换为词元序列 专栏介绍的方案将不同分辨率的图像切分为小图像块，再按行排列。在相邻行之间加入换行符，使二维图像在转换为一维词元序列后，仍能表达其行列布局信息。 图像信息与用户的自然语言指令随后合并为同一词元流，交由Transformer处理。保留空间关系既有助于理解整体画面，也可能帮助模型定位细小按钮和输入框。文章说明了如何将视觉界面转换成语言模型可处理的结构化输入。 区分专利披露与产品实现 该专利为跨软件界面工作的智能体提供了一种具体的视觉输入处理方案，但并不能据此认定其全部技术特征已经用于Claude目前的计算机使用功能。专利文献的披露与商业模型的内部实现需要分别考察。 文章将这一技术问题置于生成式AI从生成回答走向执行数字环境任务的发展背景下。完整专栏可通过下方链接在AI Times阅读。 图中保留原始标注与形态，相关内容在正文中说明。 阅读AI Times专栏全文 查看韩文原文 本文基于发表时的情况撰写。如需就具体事项咨询，请联系IPLEX。 咨询相关业务 ↗ 全部文章 本页目录 金容德专利代理师的新专栏 把屏幕转换为词元序列 区分专利披露与产品实现 咨询IPLEX 与我们讨论您的需求 保护、维权与管理。 我们将与您共同分析技术与业务需求。 ↗ 联系我们 较新文章 谷歌文档理解专利：结合标题、正文与图像的布局读取文档 ↗ 较早文章 LED灯泡外观设计侵权：在先公开为何导致权利主张落空 ↗ 相关解读 IPLEX动态 2026.10.29 印度HK Acharya & Company到访IPLEX 印度HK Acharya & Company的Omkar Acharya与Alpa Rawal到访IPLEX，双方交流了各自的近期情况，并探讨今后的合作机会。 ↗ 阅读全文 新闻 2026.10.27 AI Times专栏：解读“教会AI学习”的专利 金容德专利代理师解析Anthropic取得的一项专利，讨论教师模型如何为训练样本分配权重。 ↗ 阅读全文 IPLEX动态 2026.10.27 与Balder IP交流海外申请实务 金容德代表专利代理师与Balder IP的Carlos就拉丁美洲及欧洲的外观设计申请、专利申请程序和今后的合作机会进行了交流。 ↗ 阅读全文

- https://www.iplexlaw.co.kr/zh
- https://www.iplexlaw.co.kr/zh/blog/category/firm
- https://www.aitimes.kr/news/articleView.html?idxno=42649
- https://www.iplexlaw.co.kr/ko/blog/aitimes-anthropic-screen-understanding
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog
- https://www.iplexlaw.co.kr/zh/blog/aitimes-anthropic-screen-understanding#article-1940-en-0
- https://www.iplexlaw.co.kr/zh/blog/aitimes-anthropic-screen-understanding#article-1940-en-1
- https://www.iplexlaw.co.kr/zh/blog/aitimes-anthropic-screen-understanding#article-1940-en-2
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog/google-layout-aware-document-understanding
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1939
- https://www.iplexlaw.co.kr/zh/blog/visit-hk-acharya-2026
- https://www.iplexlaw.co.kr/zh/blog/visit-hk-acharya-2026
- https://www.iplexlaw.co.kr/zh/blog/aitimes-anthropic-learning-to-teach
- https://www.iplexlaw.co.kr/zh/blog/aitimes-anthropic-learning-to-teach
- https://www.iplexlaw.co.kr/zh/blog/visit-balder-2026
- https://www.iplexlaw.co.kr/zh/blog/visit-balder-2026
