Новости и аналитика

Распознанный текст Apple: от номера или URL к подходящему действию

US12001642B2 связывает распознанный текст, координаты, тип данных и ввод пользователя с контекстными меню и действиями.

Распознанный текст связан со своим положением и типом.
Распознанный текст связан со своим положением и типом.

Распознать символы на фотографии недостаточно. Патент Apple описывает связь текста с его видимым положением и типом, чтобы при выборе пользователем предложить подходящую операцию.

1. От пикселей афиши к тексту

Представим фотографию афиши с названием мероприятия, телефоном и веб-адресом. После OCR интерфейсу ещё нужно определить, какую видимую строку выбрал пользователь.

Патент Apple US12001642B2, выданный 4 июня 2024 года, описывает взаимодействие с текстом на изображениях и в предпросмотре камеры. Здесь рассматривается интерфейсный процесс, без утверждения о новом алгоритме OCR.

Цепочка включает распознавание, пространственную привязку, определение типа, выбор и действие. Каждый этап способен ошибаться независимо от остальных.

2. Сохранять связь с изображением

Фигура 6C показывает распознанные области и заметность текста, включая размер и положение. Эти свойства могут влиять на выбор выделяемого текста.

Фигура 6D рассматривает изменение вида. Когда изображение или предпросмотр меняется, области распознанного текста должны оставаться связанными с видимым содержимым.

Правильная строка бесполезна для выбора, если касание выделяет соседнюю. Необходима надёжная связь координат с текстом.

3. Тип текста определяет варианты

В патенте описаны детекторы данных, которые могут использовать регулярные выражения для телефонных номеров и электронной почты. Форматы зависят от региона и контекста.

На фигуре 6C адреса и телефоны отмечаются, например подчёркиванием. Фигуры 6N и 6O связывают ввод с вызовом либо меню для звонка, сообщения, добавления контакта и копирования.

Фигура 6L также показывает обычные действия копирования и отправки текста. Определение типа ограничивает подходящие варианты, но не превращает любую последовательность цифр в команду звонка.

4. Три выбора на условной афише

Пользователь может удержать название для копирования, выбрать номер для звонка или копирования и открыть веб-адрес в браузере.

Иллюстрация разделяет выбранную область, определённый тип и доступную операцию. Поэтому разные строки одной фотографии ведут к разным вариантам.

Действия следуют за вводом пользователя. Само обнаружение номера камерой не означает автоматического телефонного вызова.

5. Сопоставление с материалами Apple

Руководство iPhone описывает выбор, копирование, отправку и перевод текста на фото или приостановленном видео. Отдельное руководство объясняет использование распознавания текста в камере.

Условная афиша разделяет копирование, телефонные варианты и переход в браузер.
Условная афиша разделяет копирование, телефонные варианты и переход в браузер.

Выступление о VisionKit на WWDC 2022 разделяет анализ изображения и взаимодействие, включая адрес на карте, набор номера и переход по URL.

Эти материалы поясняют пользовательские возможности. Сами по себе они не подтверждают реализацию конкретных пунктов формулы определённой версией продукта.

6. Проверять отдельные звенья

OCR, совпадение координат, классификацию типа и итоговую операцию оценивают отдельно. Правильный текст, привязанный к другой строке, и номер заказа, принятый за телефон, — разные ошибки.

Нужны условия бликов, частичного перекрытия, масштаба и поворота, включая сохранение выделения после изменения вида. Информация перед внешним действием также важна для выбора пользователя.

Техническое описание должно раскрывать поток данных, состояния, пространственную связь и выбор действия. Контролируемые сравнения изображений позволяют показать конкретное улучшение, не сводя всё к точности OCR.

Сохранены исходные обозначения и формы; содержание раскрыто в тексте.

Афиша условная. Публичные материалы не подтверждают реализацию конкретных пунктов формулы патента.

Патент USPTO US12001642B2

Apple: текст на фотографиях и видео

Apple: распознавание текста в камере

WWDC 2022: взаимодействие с текстом через VisionKit

Патент Naver на перевод изображений: как совместить перевод с движущимся кадром

Патент Google на понимание документов: совместный анализ заголовков, текста, изображений и их расположения

Ознакомьтесь с проектами ИИ IPLEX по распознаванию документов и интерфейсам, связывающим восприятие с действием.

Опыт патентного поверенного Ким Ёндока в области ИИ

Исходная публикация в Tistory

Прочитать корейский оригинал

Материал отражает ситуацию на дату публикации. Обратитесь в IPLEX, чтобы обсудить обстоятельства вашего дела.
Обсудить этот вопрос ↗Все статьи

Обсудим следующий шаг в защите ваших технологий и интеллектуальной собственности.