新闻与洞见

苹果文字识别专利:把照片中的电话号码与网址连接到操作

解析US12001642B2中识别文本、图像坐标、文本类型和用户输入如何共同决定菜单与操作。

识别结果需要关联文本类型及其图像位置。
识别结果需要关联文本类型及其图像位置。

识别照片里的字符只是第一步。苹果专利进一步描述如何关联文字的位置和类型,并在用户选择某段文字后提供合适的操作。

1. 从海报像素到可用文字

假设活动海报上有名称、电话号码和网址。OCR生成文字后,界面仍需知道用户实际选择的是哪一行。

苹果US12001642B2于2024年6月4日授权,描述图像和相机预览中的文字交互。本文关注界面流程,并非认定其提出了一种新的OCR算法。

完整链路包括识别、位置关联、类型判断、用户选择及操作。每个环节都可能独立发生错误。

2. 保持文字与图像位置一致

图6C涉及识别区域及文字的显著程度,例如大小和位置,这些属性会影响哪些文本被强调显示。

图6D涉及视图变化。图像或预览改变时,显示的文字区域仍需与可见内容保持对应。

字符识别正确,但点击时选中相邻一行,仍然无法正确操作。界面需要可靠的坐标与文本关联。

3. 文本类型决定相关选项

专利描述数据检测器使用正则表达式等模式识别电话号码、电子邮件地址等类型。具体格式会因地区和语境而不同。

图6C用下划线等方式提示检测出的地址或号码。图6N和6O把电话号码相关输入连接到拨号,或包含拨号、发信息、添加联系人和拷贝的菜单。

图6L还展示普通文本的拷贝、共享等操作。类型识别缩小相关选项范围,不意味着所有数字串都应触发电话。

4. 假设海报中的三种选择

用户可以长按活动名称进行拷贝,选择号码后拨号或拷贝,选择网址后打开浏览器。

配图区分所选区域、判断出的类型和可用操作。因此同一照片中的不同文本行会对应不同选项。

这些动作以用户输入为依据。相机读到号码,并不等同于自动拨打电话。

5. 对照苹果公开文档

iPhone使用手册介绍在照片或暂停的视频中选择、拷贝、共享和翻译文本。另一份相机指南说明如何在实时取景中使用实况文本控制。

假设海报展示拷贝、电话选项和网页跳转的不同交互。
假设海报展示拷贝、电话选项和网页跳转的不同交互。

WWDC 2022的VisionKit讲解区分图像分析和交互,并介绍将地址用于地图、号码用于拨号、URL用于网页跳转等流程。

这些资料帮助理解用户功能,但不能单独证明某一产品版本具体实施了哪些专利权利要求。

6. 分环节评估交互

应分别检查OCR、坐标对齐、类型分类和最终操作。文字正确但位置对应错误,与把订单号误判为电话号码,是不同的问题。

测试反光、局部遮挡、缩放和旋转,以及视图改变后选择区域是否仍然对齐。执行外部动作前显示的信息,也会影响用户判断。

技术交底需说明数据流、状态条件、坐标关联和操作选择,并通过控制图像条件的比较,定位具体改善环节,而非把所有效果都归于OCR准确率。

图中保留原始标注与形态,相关内容在正文中说明。

海报为假设示例;公开产品文档不代表对具体权利要求实施情况的确认。

USPTO专利公报US12001642B2

Apple:照片和视频中的实况文本

Apple:通过相机使用实况文本

WWDC 2022:VisionKit文字交互

解读NAVER图像翻译专利:让译文跟随移动的相机画面

谷歌文档理解专利:结合标题、正文与图像的布局读取文档

可参阅IPLEX的AI项目及咨询准备资料,了解文字识别与操作界面的技术整理。

了解金容德专利代理师的AI专业经验

Tistory原文

查看韩文原文

本文基于发表时的情况撰写。如需就具体事项咨询,请联系IPLEX。
咨询相关业务 ↗全部文章

与IPLEX探讨技术保护与知识产权布局的下一步。