IPLEX管理合伙人、专利代理师金容德的最新专栏已在韩国AI专业媒体AI Times发表。文章以Claude Computer Use为切入点，围绕美国第12,585,862号专利，解析AI如何通过训练数据学习操作计算机。
从识别屏幕内容到点击按钮、输入文字，再到检查操作结果，AI智能体需要把感知与行动串联起来。文章关注的正是这一过程：当AI开始跨软件执行任务时，训练数据需要记录哪些信息，才能为下一步操作提供依据。
专利所披露的数据来源包括文本、图像、软件操作视频、网页画面及用户操作记录。作者梳理了屏幕状态与操作之间的对应关系，并说明完整任务过程中的操作序列，即智能体执行轨迹，如何用于训练。
人工审批和纠正反馈也是分析的重点。智能体观察画面、执行操作、再次观察变化，由此产生的过程记录与人工反馈，可为后续学习提供素材。文章据此讨论了操作经验的积累与模型规模各自在AI智能体技术发展中的意义。
在解读专利技术时，文章同时区分了专利披露与产品实际实现。仅凭该专利，尚不能认定其中全部技术均已应用于Claude；相关分析旨在通过公开的技术方案理解计算机操作类AI智能体的训练思路。
欢迎阅读本期专栏，了解多模态训练数据、任务执行轨迹与人工反馈如何共同支持AI学习软件操作，以及这一技术演进在专利文献中的具体呈现。
专栏全文以韩文刊载于AI Times，可通过下方链接阅读。
本文基于发表时的情况撰写。如需就具体事项咨询，请联系IPLEX。