
김용덕 변리사의 인공지능신문 기고
아이피렉스 특허법률사무소 김용덕 대표변리사의 인공지능(AI) 특허 관련 칼럼이 국내 AI 전문 매체인 인공지능신문(AI Times)에 게재되었습니다.
이번 칼럼에서는 앤트로픽(Anthropic)의 미국 등록특허 제12,387,036호를 중심으로, AI 에이전트가 컴퓨터 화면을 이해하고 사용자의 지시를 실제 행동으로 연결하는 기술을 살펴봅니다.
화면과 자연어 지시를 함께 처리하는 구조
이 특허의 핵심은 서로 다른 해상도의 화면 이미지를 작은 이미지 조각으로 나누고, 각 조각을 줄 단위로 배열해 텍스트 토큰과 함께 하나의 토큰 흐름으로 처리하는 것입니다. 특히 이미지 조각 사이에 줄바꿈 문자를 삽입해 화면의 행과 열 구조를 표현하고, 사용자의 자연어 지시와 화면 정보를 하나의 트랜스포머 모델에서 함께 처리하도록 설계했습니다.
이러한 방식은 화면의 전체적인 내용뿐 아니라 버튼이나 입력란 등 세부 요소의 위치와 배치 관계를 파악하는 데 도움이 될 수 있습니다. 컴퓨터 화면을 단순한 이미지가 아닌 언어모델이 처리할 수 있는 구조화된 정보로 변환한다는 점에서 의미가 있습니다.
특허 공개와 실제 제품 구현의 구분
다만 특허에 기재된 기술이 현재 클로드(Claude)의 컴퓨터 사용 기능에 그대로 적용되었다고 단정할 수는 없습니다. 이번 특허는 AI 에이전트가 다양한 소프트웨어 화면을 이해하고 조작하기 위해 필요한 시각적 정보 처리 기술의 구체적인 해법을 제시한다는 점에서 주목할 만합니다.
AI가 컴퓨터를 직접 조작하려면 무엇이 필요할까요? 사용자의 명령을 이해하는 것만으로는 충분하지 않습니다. 화면에 표시된 글자와 버튼을 구별하고, 각 요소의 위치를 파악해 적절한 행동으로 연결할 수 있어야 합니다. 앤트로픽(Anthropic)의 클로드(Claude)가 공개한 '컴퓨터 사용(Computer Use)' 기능은 이러한 화면 이해 능력을 실제 소프트웨어 조작에 활용하는 사례입니다.
이번 사례는 생성형 AI의 경쟁 영역이 자연스러운 답변 생성에서 실제 디지털 환경을 이해하고 업무를 수행하는 방향으로 확장되고 있음을 보여줍니다.
