Noticias y análisis

Columna en AI Times: cómo los agentes de IA interpretan la pantalla

Yongdeok Kim analiza una patente de Anthropic sobre el tratamiento de imágenes de pantalla, sin equiparar su divulgación con la implementación de Claude.

Anuncio de la columna de Yongdeok Kim en AI Times sobre la patente de Anthropic para interpretar pantallas

Nueva colaboración de Yongdeok Kim

El agente de patentes y socio director de IPLEX, Yongdeok Kim, ha publicado una columna sobre patentes de IA en AI Times, medio coreano especializado en inteligencia artificial. El artículo examina la patente estadounidense n.º 12.387.036, de Anthropic, y el tratamiento visual necesario para relacionar las instrucciones del usuario con acciones en un ordenador.

Entender una instrucción es solo una parte del proceso. El agente también debe distinguir texto, botones, menús y campos de entrada, y relacionar su posición con la operación solicitada. La función de uso del ordenador de Claude ilustra este problema más amplio de interpretación de interfaces.

De la imagen de pantalla a una secuencia de tokens

El enfoque descrito divide imágenes de distintas resoluciones en pequeños parches y los ordena por líneas. Al insertar caracteres de salto de línea entre líneas sucesivas, conserva información sobre la disposición bidimensional de la imagen al representarla como una secuencia de tokens.

La información de la imagen y las instrucciones en lenguaje natural se combinan después en un único flujo de tokens, que procesa un transformador. Mantener las relaciones espaciales puede facilitar tanto la comprensión global de la pantalla como la localización de pequeños botones y campos. La columna explica cómo convertir una interfaz visual en una entrada estructurada para un modelo de lenguaje.

Distinguir la patente de su posible implementación

La patente presenta una solución concreta para la entrada visual de agentes que operan en distintos programas. No demuestra que todas las características descritas estén implementadas en la función actual de uso del ordenador de Claude. La divulgación de la patente y la arquitectura interna de un modelo comercial requieren un análisis diferenciado.

El artículo sitúa este problema técnico en la evolución de la IA generativa, desde la producción de respuestas hacia la ejecución de tareas en entornos digitales. La columna completa puede consultarse en AI Times mediante el enlace siguiente.

Se conservan las indicaciones y formas originales; el contenido se explica en el texto.

Leer la columna completa en AI Times

Leer el original coreano

Este artículo del archivo refleja la situación en su fecha de publicación. Contacte con el despacho para analizar su caso.
Consultar sobre este tema ↗Todos los artículos

Su próximo paso en tecnología y propiedad intelectual empieza aquí.