
Распознать символы на фотографии недостаточно. Патент Apple описывает связь текста с его видимым положением и типом, чтобы при выборе пользователем предложить подходящую операцию.
1. От пикселей афиши к тексту
Представим фотографию афиши с названием мероприятия, телефоном и веб-адресом. После OCR интерфейсу ещё нужно определить, какую видимую строку выбрал пользователь.
Патент Apple US12001642B2, выданный 4 июня 2024 года, описывает взаимодействие с текстом на изображениях и в предпросмотре камеры. Здесь рассматривается интерфейсный процесс, без утверждения о новом алгоритме OCR.
Цепочка включает распознавание, пространственную привязку, определение типа, выбор и действие. Каждый этап способен ошибаться независимо от остальных.
2. Сохранять связь с изображением
Фигура 6C показывает распознанные области и заметность текста, включая размер и положение. Эти свойства могут влиять на выбор выделяемого текста.
Фигура 6D рассматривает изменение вида. Когда изображение или предпросмотр меняется, области распознанного текста должны оставаться связанными с видимым содержимым.
Правильная строка бесполезна для выбора, если касание выделяет соседнюю. Необходима надёжная связь координат с текстом.
3. Тип текста определяет варианты
В патенте описаны детекторы данных, которые могут использовать регулярные выражения для телефонных номеров и электронной почты. Форматы зависят от региона и контекста.
На фигуре 6C адреса и телефоны отмечаются, например подчёркиванием. Фигуры 6N и 6O связывают ввод с вызовом либо меню для звонка, сообщения, добавления контакта и копирования.
Фигура 6L также показывает обычные действия копирования и отправки текста. Определение типа ограничивает подходящие варианты, но не превращает любую последовательность цифр в команду звонка.
4. Три выбора на условной афише
Пользователь может удержать название для копирования, выбрать номер для звонка или копирования и открыть веб-адрес в браузере.
Иллюстрация разделяет выбранную область, определённый тип и доступную операцию. Поэтому разные строки одной фотографии ведут к разным вариантам.
Действия следуют за вводом пользователя. Само обнаружение номера камерой не означает автоматического телефонного вызова.
5. Сопоставление с материалами Apple
Руководство iPhone описывает выбор, копирование, отправку и перевод текста на фото или приостановленном видео. Отдельное руководство объясняет использование распознавания текста в камере.

Выступление о VisionKit на WWDC 2022 разделяет анализ изображения и взаимодействие, включая адрес на карте, набор номера и переход по URL.
Эти материалы поясняют пользовательские возможности. Сами по себе они не подтверждают реализацию конкретных пунктов формулы определённой версией продукта.
6. Проверять отдельные звенья
OCR, совпадение координат, классификацию типа и итоговую операцию оценивают отдельно. Правильный текст, привязанный к другой строке, и номер заказа, принятый за телефон, — разные ошибки.
Нужны условия бликов, частичного перекрытия, масштаба и поворота, включая сохранение выделения после изменения вида. Информация перед внешним действием также важна для выбора пользователя.
Техническое описание должно раскрывать поток данных, состояния, пространственную связь и выбор действия. Контролируемые сравнения изображений позволяют показать конкретное улучшение, не сводя всё к точности OCR.
Сохранены исходные обозначения и формы; содержание раскрыто в тексте.
Афиша условная. Публичные материалы не подтверждают реализацию конкретных пунктов формулы патента.
Apple: текст на фотографиях и видео
Apple: распознавание текста в камере
WWDC 2022: взаимодействие с текстом через VisionKit
Патент Naver на перевод изображений: как совместить перевод с движущимся кадром
Ознакомьтесь с проектами ИИ IPLEX по распознаванию документов и интерфейсам, связывающим восприятие с действием.
Опыт патентного поверенного Ким Ёндока в области ИИ
