1. Пока готовится перевод, изображение меняется
Представим посетителя выставки, который наводит телефон на англоязычный указатель, чтобы прочитать перевод на корейский язык. Пока результат обрабатывается, движение руки смещает или наклоняет указатель. Даже верный перевод, оставшийся в прежних координатах, трудно соотнести с оригиналом. Патент США US12197883B2 компании Naver раскрывает последовательность перевода изображений с дополненной реальностью, учитывающую такое временное и пространственное рассогласование. Официальные материалы Papago помогают понять сценарий использования, но сами по себе не подтверждают реализацию каждого описанного варианта в текущем продукте.
2. Выбор подходящего кадра из буфера
Видео представляет собой последовательность кадров. В описанном решении несколько последних кадров временно сохраняются в буфере, после чего выбирается кадр, отвечающий заданным критериям. Это могут быть яркость, чёткость, наличие достаточного количества символов или контуров, а также степень обработки изображения. Последний полученный кадр не обязательно оказывается лучшим: при кратковременном дрожании камеры соседние изображения могут оставаться читаемыми. Объём буфера, правила отбора и момент запуска нового цикла — самостоятельные проектные решения наряду с выбором модели перевода.
3. Распознавание текста и определение области перевода
Оптическое распознавание символов, или OCR, преобразует изображённые пикселями буквы в текстовые данные. Перевод полученного текста на другой язык выполняет иную функцию. В патенте описаны нейросетевое распознавание и использование внешнего устройства перевода изображений. Дополнительно определяется область для отображения перевода по признакам текста и его окружения. Если на указателе рядом расположены заголовок и расписание, пространственная привязка помогает не перепутать результаты. На фиг. 9 показаны хранение кадров, выбор кадра, перевод, определение области и её отображение в другом кадре.
4. Перенос результата в текущую систему координат
Указатель, находившийся по центру исходного кадра, позднее может сместиться или выглядеть наклонным четырёхугольником. Характерные точки, например углы и заметные элементы окружения, позволяют установить соответствия между изображениями. Модель преобразования признаков определяет новое положение области перевода. Один из раскрытых вариантов использует гомографию — проективное преобразование для сопоставления изображений плоскости с разных точек зрения. При рендеринге перевод накладывается на соответствующую область последующего кадра. Разделение содержания перевода и геометрии его отображения позволяет учитывать продолжающееся движение камеры.
5. Сопоставление или отслеживание в зависимости от времени
Патент различает кадры, разделённые большим и меньшим временным интервалом. В первом случае можно выделить ключевые точки и дескрипторы на обоих изображениях, сопоставить их и оценить преобразование. Во втором — проследить смещение уже найденных точек с помощью оптического потока. Выбор касается способа обновления области отображения, а не модели перевода. В условном примере заголовок “TODAY’S PROGRAM” переводится на корейский язык, после чего область перевода перемещается вслед за указателем. Точки на поясняющей схеме упрощены; это не результаты испытания продукта.
6. Когда ранее подготовленный результат нужно обновить
После перехода камеры к другому указателю прежний перевод не должен сохраняться бесконечно. Фиг. 10 иллюстрирует цикл с проверкой времени: после отображения определяется, истёк ли заданный интервал. Пока он не истёк, область сохраняется для дальнейшего отображения; после истечения система возвращается к хранению и выбору нового кадра и повторному переводу. В других примерах при слишком большом временном интервале или различии движения прежний результат может не отображаться, а обработка запускается заново. Такой критерий оценивает применимость результата к текущему изображению, а не языковую точность перевода.
7. Значение для разработки ИИ и патентного анализа
Материалы Papago описывают перевод изображений и перевод в реальном времени с дополненной реальностью. Документация Naver Cloud предусматривает получение текста либо изображения с наложенным переводом. Разработчикам важно учитывать выбор входных данных, изменение сцены во время вычислений и условия пересчёта области отображения. Испытания можно разделить на неподвижный указатель, плавное движение камеры, наклонный ракурс и смену объекта, фиксируя исходный и отображаемый кадры и момент обновления. При патентном анализе рассматривается совокупность этапов, заданная формулой изобретения, а не общая идея перевода вывески. Оригинальные чертежи и условный пример служат объяснению этой совокупности и не подменяют экспериментальные показатели.