Новости и аналитика

Колонка в AI Times: как ИИ-агенты распознают экран компьютера

Ёндок Ким разбирает патент Anthropic на обработку экранных изображений и отделяет раскрытую технологию от фактической реализации Claude.

Анонс колонки Ёндока Кима в AI Times о патенте Anthropic на понимание экранных изображений

Новая публикация Ёндока Кима

В корейском издании AI Times, посвящённом искусственному интеллекту, вышла колонка управляющего партнёра и патентного поверенного IPLEX Ёндока Кима. На примере патента США № 12 387 036 компании Anthropic автор рассматривает обработку визуальных данных, позволяющую связывать инструкции пользователя с действиями на компьютере.

Одного понимания инструкции недостаточно. Агенту необходимо различать текст, кнопки, меню и поля ввода, а также соотносить их расположение с требуемым действием. Функция использования компьютера в Claude иллюстрирует более широкую задачу понимания программного интерфейса.

Преобразование экрана в последовательность токенов

В описанном подходе изображения разного разрешения делятся на небольшие фрагменты и упорядочиваются по строкам. Символы переноса строки между последовательными строками позволяют отразить двумерное расположение фрагментов при преобразовании изображения в одномерную последовательность токенов.

Визуальные данные и инструкции пользователя на естественном языке затем объединяются в единый поток токенов для обработки трансформером. Сохранение пространственных связей может помочь модели не только понять экран в целом, но и определить положение небольших кнопок и полей. В колонке объясняется, как визуальный интерфейс превращается в структурированные входные данные языковой модели.

Раскрытие патента и реализация продукта

Патент предлагает конкретный способ обработки визуального ввода для агентов, работающих с разными программами. Однако из него не следует, что все описанные признаки реализованы в нынешней функции использования компьютера Claude. Раскрытие патентного документа и внутреннее устройство коммерческой модели необходимо рассматривать отдельно.

Автор связывает эту техническую задачу с переходом генеративного ИИ от подготовки ответов к выполнению задач в цифровой среде. Полный текст колонки доступен на сайте AI Times по ссылке ниже.

Сохранены исходные обозначения и формы; содержание раскрыто в тексте.

Прочитать колонку в AI Times полностью

Прочитать корейский оригинал

Материал отражает ситуацию на дату публикации. Обратитесь в IPLEX, чтобы обсудить обстоятельства вашего дела.
Обсудить этот вопрос ↗Все статьи

Обсудим следующий шаг в защите ваших технологий и интеллектуальной собственности.