
Новая публикация Ёндока Кима
В корейском издании AI Times, посвящённом искусственному интеллекту, вышла колонка управляющего партнёра и патентного поверенного IPLEX Ёндока Кима. На примере патента США № 12 387 036 компании Anthropic автор рассматривает обработку визуальных данных, позволяющую связывать инструкции пользователя с действиями на компьютере.
Одного понимания инструкции недостаточно. Агенту необходимо различать текст, кнопки, меню и поля ввода, а также соотносить их расположение с требуемым действием. Функция использования компьютера в Claude иллюстрирует более широкую задачу понимания программного интерфейса.
Преобразование экрана в последовательность токенов
В описанном подходе изображения разного разрешения делятся на небольшие фрагменты и упорядочиваются по строкам. Символы переноса строки между последовательными строками позволяют отразить двумерное расположение фрагментов при преобразовании изображения в одномерную последовательность токенов.
Визуальные данные и инструкции пользователя на естественном языке затем объединяются в единый поток токенов для обработки трансформером. Сохранение пространственных связей может помочь модели не только понять экран в целом, но и определить положение небольших кнопок и полей. В колонке объясняется, как визуальный интерфейс превращается в структурированные входные данные языковой модели.
Раскрытие патента и реализация продукта
Патент предлагает конкретный способ обработки визуального ввода для агентов, работающих с разными программами. Однако из него не следует, что все описанные признаки реализованы в нынешней функции использования компьютера Claude. Раскрытие патентного документа и внутреннее устройство коммерческой модели необходимо рассматривать отдельно.
Автор связывает эту техническую задачу с переходом генеративного ИИ от подготовки ответов к выполнению задач в цифровой среде. Полный текст колонки доступен на сайте AI Times по ссылке ниже.
Сохранены исходные обозначения и формы; содержание раскрыто в тексте.
Прочитать колонку в AI Times полностью
