新闻与洞见

增强现实专利的创造性:图像处理与位置姿态跟踪如何结合

韩国专利法院2024 Heo 12395号判决分析AR游戏图像生成与户外跟踪技术的结合,以及更正后权利要求7的保护范围。

2024 Heo 12395号案:增强现实图像处理的创造性判断

转动摄像头时,若要让虚拟指示牌仍像固定在某个地点,就必须知道摄像头在哪里、朝向何方。将这种位置和姿态跟踪用于现实图像与虚拟物体的叠加,是否足以具备创造性?

韩国专利法院在2026年10月22日作出的2024 Heo 12395号判决中,认为AR游戏图像处理可以与户外增强现实的位置、姿态跟踪结合。两种技术之间如何利用数据,是判断更正后权利要求7创造性的重点。

把摄像头的位置和姿态反映到画面中

韩国第755187号专利涉及在现实图像上显示虚拟媒体的数字设备及显示方法,于2006年2月23日申请、2007年8月28日注册。本案审查的更正后权利要求7,是利用与摄像头连接的数字设备合成现实图像和虚拟图像并显示的方法。

虚拟对象是由计算机在画面中呈现的物体。权利要求7根据摄像头的位置和姿态确定视野范围,将该范围与分配给虚拟对象的位置、姿态进行比较,以生成虚拟图像数据,再与摄像头拍摄的现实图像合成。

韩国第755187号专利图2:摄像头视野范围与虚拟对象
韩国第755187号专利图2:摄像头视野范围与虚拟对象

这里的绝对坐标,是与地球上实际位置相对应的坐标。法院认为,在保持这种对应关系的同时转换到局部坐标系的数值也包括在内。摄像头的姿态信息包含绕三个相互垂直轴的旋转角度,其中至少一个轴沿重力方向或磁北方向。磁北即指南针指示的北方。

韩国第755187号专利图5:数字设备的位置和姿态
韩国第755187号专利图5:数字设备的位置和姿态

更正使待比较的技术特征更加具体

无效审判旨在审查已注册专利是否存在无效理由。专利权人在该程序中请求更正权利要求7。韩国特许审判院于2024年4月26日在2023 Dang 3148号决定中允许更正,但认为更正后的权利要求7可由对比技术1容易想到,因而宣告其无效。

专利权人提起撤销决定之诉,并另外请求更正审判。进一步更正将权利要求7具体限定为:比较分配给虚拟对象的位置、姿态信息与摄像头的视野范围,从而生成虚拟图像数据。

审判院最初驳回了这项单独的更正请求。专利法院在2025 Heo 10204号案中撤销该驳回决定;大法院在2026 Hu 10009号案中驳回上诉后,该判决生效。审判院重新审理,于2026年7月7日允许更正,该决定也已生效。本次无效决定撤销诉讼所审查的,是这一版本的权利要求7。

AR游戏中已有的图像生成流程

对比技术3是2001年公开的日本专利文献,涉及AR游戏装置。头戴式显示器HMD上的摄像头拍摄玩家看到的现实空间,游戏装置生成对应视点的虚拟物体图像,将其与实拍图像合成后显示在HMD上。

涉案专利的显示图像与对比技术3显示画面的比较
涉案专利的显示图像与对比技术3显示画面的比较

该技术分别管理虚拟物体自身的位置、姿态信息和摄像头的位置、姿态信息。它将物体的位置与朝向转换到摄像头视点,并考虑摄像头可拍摄的角度,即视角,以确定物体在画面中的位置和外观。法院认定,该处理对应于权利要求7所述的对象位置、姿态与视野范围的比较。

专利权人认为,仅有坐标变换,并未披露通过视野比较来选择或提取待显示对象的结构。法院依据权利要求7的文字解释认为,即使比较发生在图像生成过程中,也属于其范围,并不要求在图像生成之前另设独立的对象提取步骤。

与地球实际位置建立联系的三个区别

第一个区别是摄像头的位置是否对应地球上的实际地点。对比技术3虽具有摄像头和虚拟物体共用的坐标系,却未说明该坐标系如何联系到真实的地理位置。

第二个区别是摄像头姿态的基准。权利要求7要求以包含重力或磁北方向的基准,确定绕三个正交轴的旋转角度。第三个区别则是,用于与虚拟对象比较的视野范围,同样基于对应地球实际位置的坐标来确定。

对比技术4是一篇约于2004年公开的户外增强现实建模论文,介绍将GPS测得的位置在不同坐标系之间转换,用于三维图像生成。结合传感器安装位置、安装方向和头部高度等因素,可以把在身体处测得的位置校正到头戴摄像头的视点。

论文还介绍了利用重力、地磁等外部基准测量方向和倾斜的技术。法院认为,可以校正传感器与摄像头安装方向之间的差异,并将摄像头姿态表示为绕三个正交轴的旋转角,其中一个轴取重力方向。

对比技术4图2-17:TCM2及InertiaCube2跟踪装置
对比技术4图2-17:TCM2及InertiaCube2跟踪装置

为什么可以将跟踪技术用于图像合成

以一个假设场景说明:在公园入口放置虚拟指示牌。用户行走并转动摄像头时,可见范围不断变化。把摄像头和指示牌对齐到同一地图基准,就能计算入口处的标牌在当前视野中应位于何处、呈现何种朝向。

对比技术3在共同坐标系内计算摄像头和虚拟物体信息。加入对比技术4的跟踪、坐标变换后,两者可在对应实际地理位置的同时置于同一坐标系。法院认为,再根据摄像头位置、姿态和视角确定视野范围,就能采用对比技术3的处理方式,与虚拟物体的位置和姿态进行比较。

对比技术4还介绍了将户外建模设备和软件用于ARQuake游戏的实例。法院据此认定,将户外跟踪用于AR游戏具有动机。两份资料均涉及基于摄像头的图像合成,因而保留对比技术3的合成结构并引入对比技术4的跟踪、校正手段,不存在特别困难,其效果也可预见。

此前更正案件与本案的技术组合不同

按本文的编号,此前更正案件考察的是对比技术1单独或其与对比技术3的结合。法院当时尤其认为,难以认定有动机通过技术3,为技术1中的虚拟对象增加其自身姿态信息。本案则以已经使用对象自身位置、姿态的对比技术3为起点,审查能否应用技术4的跟踪和坐标处理。

法院认为,本领域技术人员可以容易地将对比技术3和4结合而得到更正后的权利要求7,因而否定其创造性,驳回了撤销无效部分的请求。对于新颖性等其余无效理由,法院未再作出判断。

至于请求撤销2024年决定中允许更正的部分,法院以不具备诉讼要件为由,不予进入实体审理。该更正是专利权人自行请求且已获准的事项,并未使其遭受不利益,因此其不具有要求撤销这一部分的法律利益。

申请和更正时,应说明技术之间的数据联系

申请增强现实专利时,应在权利要求和说明书中同时考察显示效果与产生该效果的数据流程。具体说明摄像头和虚拟物体采用何种坐标基准、在哪个阶段比较,更有助于辨明与既有图像处理的差异。

更正权利要求时,也应重新审视新增特征将与哪些现有技术比较。本案中,将外部位置、姿态基准连接到图像生成的路径,以及该路径已有的跨应用实例,共同支持了结合的可行性。宜从申请阶段记录技术衔接处的具体问题、解决手段及效果,并说明其与已知方法有何不同。

图中保留原始标注与形态,相关内容在正文中说明。

查看韩文原文

本文基于发表时的情况撰写。如需就具体事项咨询,请联系IPLEX。
咨询相关业务 ↗全部文章相关业务:专利与实用新型 ↗ 相关业务:知识产权争议与审判程序 ↗

与IPLEX探讨技术保护与知识产权布局的下一步。