
识别照片里的字符只是第一步。苹果专利进一步描述如何关联文字的位置和类型,并在用户选择某段文字后提供合适的操作。
1. 从海报像素到可用文字
假设活动海报上有名称、电话号码和网址。OCR生成文字后,界面仍需知道用户实际选择的是哪一行。
苹果US12001642B2于2024年6月4日授权,描述图像和相机预览中的文字交互。本文关注界面流程,并非认定其提出了一种新的OCR算法。
完整链路包括识别、位置关联、类型判断、用户选择及操作。每个环节都可能独立发生错误。
2. 保持文字与图像位置一致
图6C涉及识别区域及文字的显著程度,例如大小和位置,这些属性会影响哪些文本被强调显示。
图6D涉及视图变化。图像或预览改变时,显示的文字区域仍需与可见内容保持对应。
字符识别正确,但点击时选中相邻一行,仍然无法正确操作。界面需要可靠的坐标与文本关联。
3. 文本类型决定相关选项
专利描述数据检测器使用正则表达式等模式识别电话号码、电子邮件地址等类型。具体格式会因地区和语境而不同。
图6C用下划线等方式提示检测出的地址或号码。图6N和6O把电话号码相关输入连接到拨号,或包含拨号、发信息、添加联系人和拷贝的菜单。
图6L还展示普通文本的拷贝、共享等操作。类型识别缩小相关选项范围,不意味着所有数字串都应触发电话。
4. 假设海报中的三种选择
用户可以长按活动名称进行拷贝,选择号码后拨号或拷贝,选择网址后打开浏览器。
配图区分所选区域、判断出的类型和可用操作。因此同一照片中的不同文本行会对应不同选项。
这些动作以用户输入为依据。相机读到号码,并不等同于自动拨打电话。
5. 对照苹果公开文档
iPhone使用手册介绍在照片或暂停的视频中选择、拷贝、共享和翻译文本。另一份相机指南说明如何在实时取景中使用实况文本控制。

WWDC 2022的VisionKit讲解区分图像分析和交互,并介绍将地址用于地图、号码用于拨号、URL用于网页跳转等流程。
这些资料帮助理解用户功能,但不能单独证明某一产品版本具体实施了哪些专利权利要求。
6. 分环节评估交互
应分别检查OCR、坐标对齐、类型分类和最终操作。文字正确但位置对应错误,与把订单号误判为电话号码,是不同的问题。
测试反光、局部遮挡、缩放和旋转,以及视图改变后选择区域是否仍然对齐。执行外部动作前显示的信息,也会影响用户判断。
技术交底需说明数据流、状态条件、坐标关联和操作选择,并通过控制图像条件的比较,定位具体改善环节,而非把所有效果都归于OCR准确率。
图中保留原始标注与形态,相关内容在正文中说明。
海报为假设示例;公开产品文档不代表对具体权利要求实施情况的确认。
可参阅IPLEX的AI项目及咨询准备资料,了解文字识别与操作界面的技术整理。
