NEWS & INSIGHTS

애플 AI 문자 인식 특허|사진 속 전화번호와 웹 주소를 선택하는 원리

Apple US12001642B2의 문자 위치·유형 감지와 선택 동작을 분석하고 Live Text 및 VisionKit의 공개 설명과 구별합니다.

사진에서 읽은 글자가 화면 위의 선택 대상이 되고, 문자 유형에 따라 다른 동작으로 이어지는 흐름을 그린 개념도입니다.

행사 안내판을 찍고도 전화번호나 웹 주소를 다시 입력하는 경우가 있습니다. 애플의 미국 특허 US12001642B2는 화면에서 글자를 읽고 전화번호처럼 특정 유형의 문자를 알아내면, 그 위치에 표시를 붙여 사용자가 관련 동작을 고를 수 있도록 하는 방법을 설명합니다. 가상의 행사 안내판과 아이폰의 라이브 텍스트를 살펴보며 글자 인식에서 동작 선택까지 어떤 단계가 필요한지 알아봅니다.

사진에서 읽은 글자가 화면 위의 선택 대상이 되고, 문자 유형에 따라 다른 동작으로 이어지는 흐름을 그린 개념도입니다.

1. 사진 속 전화번호는 어떻게 누를 수 있게 될까요?

행사 준비를 맡은 직원이 전시장 입구에 붙은 안내판을 휴대전화로 비춘다고 생각해 보겠습니다. 안내판에는 행사 이름, 문의 전화번호, 상세 일정이 있는 웹 주소가 각각 다른 크기의 글씨로 적혀 있습니다. 직원은 번호를 보고 직접 눌러 입력할 수도 있습니다. 안내판 위에서 번호를 바로 선택하려면 휴대전화가 사진 속 숫자를 어떤 정보로 다루어야 할까요?

사진 파일에서 글자 부분도 다른 배경과 마찬가지로 색과 밝기를 담은 픽셀입니다. 검색하거나 복사하려면 그 픽셀의 모양이 어떤 문자에 해당하는지 먼저 읽어야 합니다. 화면에서 특정 번호만 누르려면 읽은 글자가 사진의 어느 자리에 있었는지도 알아야 합니다. 전화나 웹 열기처럼 다음 동작까지 제공하려면 선택한 글자의 유형을 한 번 더 살핍니다.

애플의 US12001642B2는 2024년 6월 4일 미국에서 등록됐습니다. 이 특허는 사진이나 카메라 미리보기 등에서 시각 정보를 다루는 여러 화면 흐름을 설명합니다. 글에서 살펴볼 예는 사용자가 눈앞의 글자 중 어디를 선택하는지, 그 글자가 어떤 유형인지에 따라 화면의 동작 선택지를 바꾸는 방식입니다.

2. 글자의 내용과 화면에서의 위치를 함께 사용합니다

광학 문자 인식, 줄여서 OCR은 이미지에 찍힌 글자의 모양을 읽어 복사하거나 검색할 수 있는 문자 정보로 바꾸는 기술입니다. 안내판에서 ‘안내 데스크’라는 글자를 읽었다면 시스템은 그 문자열을 복사 대상으로 다룰 수 있습니다. 글자가 놓인 영역과 문자열을 대응시켜 두면, 사용자가 그 줄을 가리켰을 때 사진 전체에서 무엇을 선택했는지도 구분할 수 있습니다.

등록 명세서의 그림 6C에서는 카메라 화면에 들어온 안내문 위에 문자 영역을 표시합니다. 화면에서 충분히 눈에 띄는 글자인지를 가리는 기준의 예로 표시 크기와 위치 등을 듭니다. 카메라 방향이 달라지면 화면에 보이는 글자 영역도 달라지므로, 그림 6D는 표시할 영역이 바뀌는 예를 보여 줍니다. 여러 줄이 읽힌 상황에서도 어떤 부분을 선택할 수 있는지 화면에서 먼저 알 수 있게 하는 흐름입니다.

문자 인식은 화면에 표시할 내용의 재료를 제공합니다. 이 특허의 해당 예에서 설명하는 주된 설계는 읽어 낸 글자를 원래 위치에 표시하고, 사용자의 선택에 맞춰 메뉴나 후속 화면을 제공하는 과정입니다. 화면에서 어느 부분을 가리켰는지와 인식된 어느 문자열이 연결되는지를 알아야 다음 단계가 자연스럽게 이어집니다.

3. 읽은 문자열에 유형을 붙여 동작을 정합니다

데이터 감지는 인식한 글자 중에서 전화번호나 이메일 주소 등 특정한 의미를 가진 부분을 골라 유형을 붙이는 과정입니다. 명세서는 유형마다 정해 둔 문자 패턴을 비교하는 방법을 예시합니다. 예를 들어 세 자리 숫자와 네 자리 숫자가 구분 기호로 이어지는 형식을 종류별 비교에 사용할 수 있습니다. 이런 배열을 표현하는 규칙이 정규식입니다. 실제 번호 형식은 지역이나 표기에 따라 다를 수 있습니다.

그림 6C의 카메라 미리보기에서는 주소와 전화번호를 각각 감지해 해당 글자 밑에 선을 보여 줍니다. 이어지는 그림 6N과 6O는 감지한 전화번호에 대한 사용자의 누르기 동작에 따라 전화 기능을 열거나, 통화·문자·연락처 추가·복사 같은 메뉴를 보여 주는 예입니다. 사용자가 메뉴를 열어 번호를 복사하는 경우와 전화 기능으로 이어지는 경우에 서로 다른 결과를 제공할 수 있습니다.

한편 문장의 일부분을 일반 텍스트로 선택한 그림 6L은 복사나 공유 같은 문자 관리 동작을 보여 줍니다. 같은 화면의 글자라도 ‘선택한 문자열을 그대로 가져가고 싶다’는 요청과 ‘선택한 번호로 연락하고 싶다’는 요청을 여러 입력과 메뉴로 다룰 수 있는 셈입니다. 유형을 알아낸 뒤에도 선택한 위치와 사용자가 누른 메뉴가 다음 동작을 정합니다.

4. 가상의 행사 안내판에서 세 가지 선택을 해 봅니다

전시장 안내판에 행사 이름, 문의 번호, 일정 웹 주소가 있다고 가정하겠습니다. 직원이 먼저 행사 이름을 길게 눌러 선택 영역을 지정한 후 복사를 고르면 보고용 메모에 붙여 넣을 수 있습니다. 여기서는 읽어 낸 행사 이름 자체가 필요한 정보입니다.

가상의 행사 안내판에서 일반 문구, 전화번호, 웹 주소를 각각 골라 후속 동작을 선택하는 예입니다.

가상의 행사 안내판에서 일반 문구, 전화번호, 웹 주소를 각각 골라 후속 동작을 선택하는 예입니다.

같은 안내판에서 번호를 고르면 통화나 복사처럼 번호에 맞는 동작을 제안하는 것을 생각해 볼 수 있습니다. 화면에 표시된 번호를 보고, 직원이 하려는 작업에 맞춰 통화나 복사를 선택하는 것입니다. 일정 웹 주소를 고른 경우에는 브라우저로 이동하는 동작을 선택할 수 있습니다. 그림의 세 갈래는 일반 글자 복사, 전화번호 선택, 웹 주소 선택을 한 안내판에 모아 그린 가상 사례입니다.

예로 든 가상의 안내판에는 직원이 지금 할 작업에 필요한 문자 정보가 여러 곳에 있습니다. 이름은 업무 기록에 옮겨야 하고, 번호는 문의를 하거나 팀원에게 전달할 수 있으며, 웹 주소는 최신 일정을 확인하는 데 쓸 수 있습니다. 화면 위에 표시된 글자 중 어느 부분을 선택했는지에 따라 각각 연결할 기능이 다릅니다.

5. 아이폰 라이브 텍스트에서 할 수 있는 일

애플의 아이폰 사용 설명서는 라이브 텍스트가 사진이나 일시 정지한 동영상 등의 글자를 인식해 선택과 복사, 공유, 번역을 제공한다고 안내합니다. 사진 앱에서 글자가 있는 사진을 열고 텍스트 감지 버튼을 사용한 뒤 선택 범위를 움직이면, 원하는 단어 또는 문장 일부를 다른 앱에서 사용할 수 있습니다.

애플 개발자 발표에서는 이미지에서 알아낸 정보에 따라 주소를 지도에서 보거나, 전화번호로 전화를 걸거나, 웹 주소를 열 수 있는 동작을 소개합니다. 또 앱에서 이미지 분석이 끝난 뒤 사용자가 인식 결과와 상호작용할 수 있게 하는 VisionKit 인터페이스를 보여 줍니다. 공개 설명서에서 볼 수 있는 라이브 텍스트의 사용 흐름은 인식한 정보가 복사와 다른 앱 열기 등으로 어떻게 이어지는지를 구체적으로 보여 줍니다.

카메라 앱에서도 안내판을 비췄을 때 텍스트 감지 버튼이 나타나면 눌러서 인식 결과를 볼 수 있습니다. 예를 들어 현장 담당자가 안내판에 적힌 문의 번호를 동료에게 보내려면, 번호를 선택한 뒤 복사해 메신저에 붙여 넣을 수 있습니다. 나중에 일정만 다시 확인하고 싶다면 사진 앱에서 같은 안내판을 열어 웹 주소를 선택하는 방식도 쓸 수 있습니다.

6. 화면 선택에서 동작 실행까지 무엇을 시험할까요?

비슷한 기능을 설계할 때에는 글자 인식, 위치 연결, 유형 감지, 동작 실행을 각각 확인해 보세요. 예를 들어 글자는 맞게 읽혔지만 위아래 두 줄 중 다른 번호가 선택됐다면, 글자 인식률만으로는 문제가 드러나지 않습니다. 번호를 맞게 선택했어도 숫자로 구성된 주문번호를 전화번호로 분류하면, 유형 기준을 살펴야 합니다.

여러 글자가 붙어 있는 안내판이나 빛이 반사된 사진, 화면에 일부가 가려진 줄을 비교하면 어떤 경우에 문제가 생기는지 찾기 쉽습니다. 사진을 확대하거나 기울였을 때 선택 표시가 올바른 줄을 따라가는지, 비슷한 모양의 번호끼리 어떤 기준으로 구분하는지, 사용자가 선택하기 전에 표시해야 할 정보가 무엇인지도 기록할 수 있습니다.

특허 검토를 준비하는 팀이라면 각각의 화면에서 무엇을 입력받고 어떤 조건으로 다음 화면이나 동작을 정하는지 연결해 보세요. 인식한 글자의 위치와 선택 위치를 대응시키는 방식, 문자열 유형에 맞춰 어떤 메뉴를 제공하는지, 사용자가 고른 동작을 실행할 때 어떤 확인 정보를 쓰는지 등이 설명할 수 있는 요소입니다. 같은 시험 이미지에서 어느 조건을 바꿨을 때 잘못 연결되는 동작이 줄었는지도 남겨 두면 구현의 차이가 선명해집니다.

행사 포스터는 가상 예시입니다. 공개 제품 자료만으로 특정 청구항의 실시를 확인한 것은 아닙니다.

USPTO US12001642B2 특허 공보

Apple 사진·비디오 텍스트 사용 설명

Apple 카메라 실시간 텍스트 설명

WWDC 2022 VisionKit 설명

네이버 파파고 AI 특허 쉽게 읽기: 움직이는 화면에 번역문을 맞추는 원리

구글 AI 문서 이해 특허: 제목·본문·이미지의 배치를 함께 읽는 원리

문자인식과 사용자 동작을 연결하는 기술을 정리하려면 아이피렉스의 AI 프로젝트와 상담 준비 자료를 살펴보세요.

AI 기술·특허 업무 살펴보기

티스토리 원문

이 글은 표시된 게시일을 기준으로 작성된 자료입니다. 개별 사안에 대한 검토는 상담을 통해 안내합니다.
관련 업무 상담 ↗전체 글 보기

기술과 브랜드를 위한 다음 결정, 아이피렉스와 상의하세요.