# 解读NAVER图像翻译专利：让译文跟随移动的相机画面

以美国专利US12197883B2为例，说明帧选择、文字识别、显示区域跟踪及过时翻译结果的更新机制。

Source: https://www.iplexlaw.co.kr/zh/blog/naver-papago-ar-image-translation

首页 / 新闻与洞见 新闻与洞见 解读NAVER图像翻译专利：让译文跟随移动的相机画面 以美国专利US12197883B2为例，说明帧选择、文字识别、显示区域跟踪及过时翻译结果的更新机制。 人工智能与软件 2026.10.08 已出版 IPLEX 阅读约9分钟 帧选择与译文位置对齐概念图 1．译文生成时，画面可能已经移动 设想用户在展会上用手机拍摄英文指示牌，准备查看韩文译文。翻译尚未完成，手部轻微移动就可能改变指示牌的位置和倾角。即使译文准确，仍按原坐标显示也会影响阅读。NAVER的美国专利US12197883B2围绕这种时间差和位置对齐问题，提出增强现实图像翻译的处理流程。Papago的官方介绍有助于理解使用场景，但产品介绍与专利公开内容本身，并不足以证明现行产品的每项功能均采用了同一实施方式。 2．从缓冲帧中选择适合识别的输入 视频由连续的图像帧组成。该方案先在缓冲区暂存若干近期帧，再选取符合预设条件的一帧。亮度、清晰度、文字或边缘数量以及图像处理程度等，均可作为选择依据。因此，最新到达的帧不一定就是最佳输入。相机短暂抖动造成某帧模糊时，相邻帧可能仍然清晰。缓存多少帧、采用何种筛选规则、何时开始新一轮处理，都是翻译模型之外需要考虑的设计参数。 3．文字识别与翻译区域的确定 光学字符识别（OCR）将图像像素中的文字转换成可处理的字符信息；把这些文字转换成另一语言，则属于后续翻译步骤。说明书介绍了神经网络文字识别以及利用外部图像翻译装置的方式。系统还依据文字及周边特征确定译文所在区域。例如，指示牌上同时存在标题和时间表时，空间对应关系能避免两部分译文混淆。图9依次展示了存储帧、选择帧、翻译、确定翻译区域以及在另一帧中渲染该区域的流程。 US12197883B2图9：存储与选择帧、翻译、确定区域并在另一帧中渲染 4．将译文映射到当前视角 原本位于画面中央的指示牌，在后续帧中可能向一侧移动，或呈现倾斜的四边形。系统利用角点、周边图案等可辨识的关键点，建立两帧之间的对应关系，再通过特征变换模型确定翻译区域的新位置。其中一种实施方式采用单应性矩阵，对同一平面在不同视角下的图像进行射影映射。渲染则是将译文合成到后续帧的相应区域。将翻译内容与显示几何关系分开处理，有助于在相机持续运动时更新结果的显示位置。 5．按时间间隔选择匹配或跟踪 该专利区分时间间隔较长和较短的帧。间隔较长时，可以分别提取两帧中的关键点和描述子，进行特征匹配并估计变换；间隔较短时，则可利用光流跟踪已有关键点的移动。这是显示区域更新方法的选择，并不是更换翻译模型。文中的虚构示例将指示牌标题“TODAY’S PROGRAM”译为韩文，随后按相机移动后指示牌的新位置调整译文。图中关键点为便于理解而作了简化，不代表实际产品的性能测试。 虚构展会指示牌示例：英译韩及相机移动后的译文对齐，保留原图标注 6．及时更新已经过时的结果 相机转向另一块指示牌后，不能无限沿用此前准备好的译文。图10给出时间驱动的循环：渲染后判断是否经过预定时间；尚未经过时，维持区域并继续显示；达到条件时，则返回存储、选择新帧并重新翻译的步骤。其他实施例还描述了时间差或运动差异过大时，不显示原有结果而重新开始处理的情形。该规则判断的是结果能否继续用于当前画面，而不是评估译文本身的语言准确性。 US12197883B2图10：依据经过时间维持翻译结果或重新处理 7．对AI产品设计与专利分析的启示 Papago官方材料介绍了图片翻译和AR实时翻译，NAVER Cloud文档则说明识别图中文字后返回译文文本或合成图像的功能。开发团队除关注翻译模型外，还应检查输入选择、计算期间的画面变化以及显示区域的重算条件。可分别测试静止指示牌、缓慢移动、斜向拍摄和目标切换，并记录输入帧、显示帧及更新时点，以定位具体环节的问题。专利分析应关注权利要求中处理步骤的组合，而不是笼统地把“翻译指示牌”视为受保护的全部内容。原始附图与虚构示例用于解释技术关系，不作为性能数据。 阅读Tistory原文 了解AI专利业务 查看韩文原文 本文基于发表时的情况撰写。如需就具体事项咨询，请联系IPLEX。 咨询相关业务 ↗ 全部文章 本页目录 1．译文生成时，画面可能已经移动 2．从缓冲帧中选择适合识别的输入 3．文字识别与翻译区域的确定 4．将译文映射到当前视角 5．按时间间隔选择匹配或跟踪 6．及时更新已经过时的结果 7．对AI产品设计与专利分析的启示 咨询IPLEX 与我们讨论您的需求 保护、维权与管理。 我们将与您共同分析技术与业务需求。 ↗ 联系我们 较新文章 化学专利的充分公开：实验例必须对应实际请求保护的发明 ↗ 较早文章 判断外观设计近似时，组装前的形态也应纳入比较 ↗ 相关解读 人工智能 2026.10.15 PaTH Attention：将词元之间的路径编码为位置信息 解析输入依赖的Householder型变换累积机制，以及状态跟踪、长上下文实验的收益与限制。 ↗ 阅读全文 人工智能 2026.10.14 华为盘古气象：如何串联不同时间间隔的预测模型 结合公开申请US20250258318A1，解析预测步长选择、中间状态传递及气象数据融合。 ↗ 阅读全文 人工智能 2026.10.13 LaCT：以大分块更新人工智能的临时记忆 从快速权重、GPU利用率和因果处理顺序，解析LaCT的技术结构、实验条件及适用边界。 ↗ 阅读全文

- https://www.iplexlaw.co.kr/zh
- https://www.iplexlaw.co.kr/zh/blog/category/ai
- https://iplexlaw.tistory.com/8
- https://www.iplexlaw.co.kr/zh/ai-patents
- https://www.iplexlaw.co.kr/ko/blog/naver-papago-ar-image-translation
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog
- https://www.iplexlaw.co.kr/zh/blog/naver-papago-ar-image-translation#case-papago-en-0
- https://www.iplexlaw.co.kr/zh/blog/naver-papago-ar-image-translation#case-papago-en-1
- https://www.iplexlaw.co.kr/zh/blog/naver-papago-ar-image-translation#case-papago-en-2
- https://www.iplexlaw.co.kr/zh/blog/naver-papago-ar-image-translation#case-papago-en-3
- https://www.iplexlaw.co.kr/zh/blog/naver-papago-ar-image-translation#case-papago-en-4
- https://www.iplexlaw.co.kr/zh/blog/naver-papago-ar-image-translation#case-papago-en-5
- https://www.iplexlaw.co.kr/zh/blog/naver-papago-ar-image-translation#case-papago-en-6
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1809
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1806
- https://www.iplexlaw.co.kr/zh/blog/path-attention-householder-transformations
- https://www.iplexlaw.co.kr/zh/blog/path-attention-householder-transformations
- https://www.iplexlaw.co.kr/zh/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/zh/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/zh/blog/lact-large-chunk-test-time-training
- https://www.iplexlaw.co.kr/zh/blog/lact-large-chunk-test-time-training