1. La escena cambia mientras se prepara la traducción
Imaginemos que un teléfono enfoca un cartel en inglés en una exposición para mostrar su traducción al coreano. Un pequeño movimiento de la mano puede desplazar o inclinar el cartel antes de que llegue el resultado. Una traducción correcta situada en las coordenadas anteriores resulta difícil de interpretar. La patente estadounidense US12197883B2 de Naver describe una secuencia de traducción de imágenes con realidad aumentada que aborda ese desfase temporal y espacial. La información pública de Papago ilustra el contexto de uso; por sí sola, no acredita que cada función del producto actual aplique una determinada realización de la patente.
2. Elegir un fotograma adecuado entre varios almacenados
Un vídeo está formado por fotogramas sucesivos. El procedimiento almacena temporalmente varios de ellos en un búfer y selecciona uno que cumpla criterios predeterminados. Pueden considerarse el brillo, la nitidez, la presencia de texto o bordes y el grado de procesamiento de la imagen. El fotograma más reciente no tiene por qué ser el más útil: una sacudida breve puede emborronarlo mientras los adyacentes siguen siendo legibles. La capacidad del búfer, los criterios de selección y el inicio del siguiente ciclo son decisiones de diseño que se suman a la elección del modelo de traducción.
3. Reconocer los caracteres y delimitar la región traducida
El reconocimiento óptico de caracteres, u OCR, convierte los caracteres representados por píxeles en información textual procesable. Traducir ese texto constituye una operación distinta. La memoria describe el reconocimiento mediante redes neuronales y el recurso a un dispositivo externo de traducción de imágenes. También se determina la región donde aparecerá la traducción a partir de características del texto y su entorno. En un cartel con un título y un horario, la correspondencia espacial evita confundir ambos resultados. La figura 9 presenta la secuencia de almacenamiento, selección, traducción, determinación de la región y representación en otro fotograma.
4. Adaptar la región al punto de vista actual
El cartel inicialmente centrado puede desplazarse o verse como un cuadrilátero inclinado en una imagen posterior. Los puntos característicos, como esquinas o patrones próximos, permiten establecer correspondencias entre fotogramas. Un modelo de transformación calcula entonces la nueva región de visualización. Una de las realizaciones utiliza una homografía, transformación proyectiva que relaciona distintas vistas de un plano. El renderizado superpone la región traducida sobre el fotograma posterior. Separar el contenido lingüístico de su geometría de presentación permite actualizar la posición mientras continúa la captura.
5. Correspondencia o seguimiento según el intervalo temporal
La patente distingue entre fotogramas separados por un intervalo mayor y otros más próximos. En el primer caso pueden extraerse puntos y descriptores de ambas imágenes, buscar correspondencias y estimar una transformación. En el segundo, el seguimiento de características mediante flujo óptico permite seguir el desplazamiento de puntos ya identificados. Se elige cómo actualizar la región, no qué modelo debe traducir el texto. El ejemplo ficticio convierte el título “TODAY’S PROGRAM” al coreano y recoloca el resultado cuando se mueve la cámara. Los puntos de referencia del dibujo están simplificados con fines didácticos y no representan una prueba de rendimiento.
6. Renovar una traducción que ya no corresponde a la escena
Al pasar a otro cartel, no sería apropiado mantener indefinidamente el resultado anterior. La figura 10 muestra un ciclo temporal: tras representar la traducción, se comprueba si ha transcurrido un período predeterminado. Si no ha transcurrido, se conserva la región para continuar la visualización; si ha transcurrido, se vuelve a almacenar y seleccionar un nuevo fotograma y a traducirlo. Otras realizaciones permiten descartar la visualización cuando la diferencia temporal o de movimiento es excesiva. Estas reglas valoran la vigencia del resultado para la imagen actual, no su corrección lingüística.
7. Lectura técnica y perspectiva de patentes
Papago presenta funciones de traducción de imágenes y traducción AR en tiempo real; la documentación de Naver Cloud explica la devolución de texto traducido o de una imagen con la traducción integrada. El equipo de desarrollo debe considerar la selección de entrada, los cambios durante el cálculo y los criterios para recalcular la región. Conviene separar las pruebas con un cartel inmóvil, movimiento lento, vista oblicua y cambio de objetivo, registrando los fotogramas de entrada y salida y la decisión de actualización. En el análisis de patentes importa la combinación de etapas definida por las reivindicaciones, no solo la idea general de traducir un cartel. Las figuras originales y el supuesto ficticio explican dicha combinación sin constituir datos de rendimiento.
Leer el artículo original en Tistory
Conocer nuestra práctica de patentes de IA