# 네이버 파파고 AI 특허 쉽게 읽기: 움직이는 화면에 번역문을 맞추는 원리 네이버의 미국 특허 US12197883B2를 통해 영상 프레임 선택, 문자 인식, 번역 영역의 위치 추적과 오래된 결과의 갱신 과정을 살펴봅니다. Source: https://www.iplexlaw.co.kr/ko/blog/naver-papago-ar-image-translation HOME / NEWS & INSIGHTS NEWS & INSIGHTS 네이버 파파고 AI 특허 쉽게 읽기: 움직이는 화면에 번역문을 맞추는 원리 네이버의 미국 특허 US12197883B2를 통해 영상 프레임 선택, 문자 인식, 번역 영역의 위치 추적과 오래된 결과의 갱신 과정을 살펴봅니다. 인공지능 2026.10.08 게시 IPLEX 9분 읽기 영상 프레임 선택과 번역문 위치 맞추기를 설명하는 개념도 카메라로 본 외국어를 번역하는 동안 화면이 움직이면 번역문을 표시할 위치도 달라집니다. 네이버의 이 AI 특허는 읽기 좋은 화면을 골라 번역하고, 결과를 새 화면 위치에 맞추며 오래된 결과를 갱신하는 처리 흐름을 설명합니다. 가상의 전시 안내판에서 영문 제목을 번역하는 예시로 각 단계의 역할을 쉽게 살펴봅니다. 화면 선택과 번역문 위치 맞추기를 표현한 직접 제작 개념 그림입니다. 1. 번역이 끝나기 전에 화면이 움직이면 어떨까요? 해외 전시회에서 안내판을 읽으려고 휴대폰 카메라를 들었다고 생각해 보세요. 화면에는 영어 안내가 보이는데, 뜻을 확인하는 사이 손이 조금 움직입니다. 글자가 왼쪽으로 밀리거나 안내판의 기울기가 달라집니다. 번역문이 이전 위치에 그대로 남아 있다면 원래 어느 문장을 설명하는지 찾기 어려울 것입니다. 이 문제는 외국어를 한국어로 바꾸는 일만으로 해결되지 않습니다. 카메라가 본 화면에서 글자를 읽고, 번역을 준비한 뒤, 그 결과를 지금 보이는 화면의 알맞은 위치에 붙여야 합니다. 번역하는 동안 촬영이 계속된다면, 글자를 읽기 시작한 화면과 결과가 도착한 화면도 서로 다를 수 있습니다. 네이버는 파파고의 공식 소개에서 사진 속 글자를 번역하는 기능과 카메라 화면 속 글자를 보여 주는 AR 실시간 번역을 설명합니다. AR은 실제로 보는 화면 위에 정보를 겹쳐 보여 주는 방식입니다. 네이버의 미국 특허 US12197883B2를 통해, 이런 서비스를 설계할 때 마주치는 화면 선택과 표시 위치의 문제를 살펴보겠습니다. 2. 동영상을 여러 장의 화면으로 나누는 이유 동영상은 한 덩어리처럼 보이지만 여러 장의 화면이 이어진 것입니다. 그 한 장을 프레임이라고 부릅니다. 카메라가 안내판을 비추고 있다면 비슷한 안내판을 담은 프레임이 계속 들어옵니다. 손이 움직이거나 조명이 바뀌면 글자의 크기, 위치, 선명도도 조금씩 달라집니다. 여기서 살펴보는 기술은 최근 프레임을 버퍼에 잠시 모아둡니다. 버퍼는 데이터를 처리하는 동안 임시로 보관하는 공간입니다. 책상 위에 방금 찍은 사진 몇 장을 펼쳐 놓고 읽기 좋은 한 장을 고르는 모습으로 생각하시면 쉽습니다. 어떤 화면을 고를지는 미리 정한 기준으로 판단합니다. 글자가 충분히 밝고 선명한지, 필요한 문자가 화면에 들어 있는지, 글자의 윤곽이 읽을 만큼 뚜렷한지 등을 살필 수 있습니다. 막 들어온 화면을 곧바로 쓰는 것만이 아니라, 잠시 모아둔 화면 가운데 처리에 적합한 것을 선택하는 것입니다. 카메라가 잠깐 흔들려 흐린 화면이 들어와도 그 앞뒤에 읽기 쉬운 화면이 있을 수 있습니다. 개발팀에게는 화면을 얼마나 모을지, 어떤 기준으로 고를지, 새 화면을 언제 처리할지가 모두 설계 항목이 됩니다. 번역 모델의 성능과 함께 어떤 입력을 모델에 전달하느냐도 사용자 경험에 영향을 줍니다. 3. 읽기 좋은 화면을 골라 글자를 번역합니다 화면을 골랐다면 이미지에 있는 글자를 읽어야 합니다. OCR은 이미지 속 문자를 찾아 문자 정보로 바꾸는 기술입니다. 사람에게는 같은 영어 문장이라도 사진에서는 배경, 글자 모양, 빛의 반사와 함께 픽셀로 들어옵니다. 문자가 어디에 있고 어떤 글자인지 처리하는 과정이 필요합니다. 이 네이버 기술에는 신경망을 이용한 문자 인식이나 외부 이미지 번역 장치의 결과를 이용하는 방식이 설명되어 있습니다. OCR로 글자를 읽는 일과 읽은 문장을 다른 언어로 옮기는 일은 구분해서 이해하시면 됩니다. 문자 인식이 입력을 준비하고, 번역 과정이 다른 언어의 문장을 만드는 역할을 맡습니다. 번역한 문장을 화면 아무 곳에나 써 놓는 것으로 작업이 끝나지는 않습니다. 어떤 글자를 바꿔 보여 줄 것인지, 그 글자가 화면에서 차지하는 영역이 어디인지도 정해야 합니다. 글자의 윤곽과 주변 특징을 이용해 번역문이 들어갈 영역을 잡습니다. 안내판에서 제목과 행사 시간이 나란히 있다면, 번역 결과가 서로 섞이지 않도록 위치 관계가 필요합니다. 아래 FIG. 9는 전체 흐름을 한 번에 보여 줍니다. 여러 프레임 저장, 적합한 프레임 선택, 문장 번역, 번역 영역 결정, 다른 프레임에 표시하는 순서입니다. 글자를 읽은 화면을 그대로 멈춰 놓지 않고, 뒤에 들어온 화면에 결과를 옮긴다는 점이 다음 설명의 출발점입니다. US12197883B2 도 9: 프레임 저장·선택·번역·영역 결정 및 다른 프레임 표시 원문 FIG. 9(US12197883B2). 여러 화면을 저장한 뒤 한 화면을 골라 번역하고, 번역 영역을 다른 화면에 표시하는 처리 흐름입니다. 4. 번역문을 현재 화면의 위치로 옮기는 방법 처음에 안내판이 화면 중앙에 있었더라도 휴대폰을 옆으로 움직이면 새 화면에서는 오른쪽에 보일 수 있습니다. 정면에서 보던 네모가 기울어진 사각형처럼 보일 수도 있습니다. 번역문을 처음 좌표에 붙이면 원래 글자와 어긋납니다. 그래서 처음 화면의 영역이 새 화면의 어느 영역에 해당하는지 찾아야 합니다. 이를 위해 글자와 주변에서 다시 찾기 쉬운 기준을 이용합니다. 이런 기준을 특징점이라고 합니다. 모서리처럼 눈에 띄는 부분을 떠올리시면 됩니다. 첫 화면의 기준점과 새 화면의 기준점을 대응시키면, 대상이 어느 쪽으로 이동했고 어떤 모양으로 보이게 되었는지 계산할 수 있습니다. 기술 설명에는 호모그래피라는 변환도 나옵니다. 같은 평면에 있는 영역을 다른 시점의 화면에 맞추는 변환이라고 이해하시면 됩니다. 안내판의 네모난 번역 영역을 새 화면에서 보이는 기울어진 안내판 영역에 맞춰 옮기는 것입니다. 단순히 글자를 오른쪽으로 이동하는 것에 더해, 영역의 모양도 맞추는 데 쓰일 수 있습니다. 이렇게 계산한 영역에 번역문을 올리는 작업을 렌더링이라고 부릅니다. 여기서는 새 화면의 대상 위에 번역 결과를 합성해 보여 주는 일입니다. 번역 내용과 표시 위치를 별개의 처리로 보면, 결과를 준비하는 동안 카메라 영상이 바뀌어도 어느 화면에 어떻게 그릴지 설계할 수 있습니다. 5. 화면 간격에 따라 다시 맞추거나 추적합니다 같은 안내판을 다루더라도 거의 이어지는 두 화면과 시간이 더 지난 두 화면은 상황이 다릅니다. 짧은 사이에는 기준점이 조금 이동했을 수 있지만, 긴 사이에는 위치나 기울기가 더 많이 달라질 수 있습니다. 이 기술은 두 화면 사이의 시간 간격을 보고 위치를 맞추는 방법을 선택하는 방식을 설명합니다. 간격이 긴 경우에는 두 화면에서 특징점과 주변의 모양 정보를 각각 찾아 비슷한 것을 맞춥니다. 이를 특징 매칭이라고 합니다. 조금 전에 찍은 안내판 사진과 지금 사진을 나란히 놓고 같은 모서리나 무늬를 다시 찾는 것에 가깝습니다. 대응하는 점을 찾은 뒤 두 영역을 연결하는 변환을 구합니다. 간격이 짧은 경우에는 이미 찾은 기준점이 다음 화면에서 어디로 이동했는지 따라가는 특징 추적을 이용하는 예시가 나옵니다. 여기에 쓰이는 광학 흐름은 연속된 영상 사이에서 점의 움직임을 계산하는 방법입니다. 매번 대상을 처음부터 찾아 맞추는 일과, 가까운 다음 화면에서 이동 경로를 따라가는 일을 나눠 보는 것입니다. 가상의 전시 안내판에 ‘TODAY’S PROGRAM’이 적혀 있다고 생각해 보세요. 읽기 좋은 기준 화면에서 ‘오늘의 프로그램’이라는 번역을 준비합니다. 손이 옆으로 움직인 뒤에는 같은 안내판의 기준점이 이동한 자리를 찾아 번역 영역을 맞춥니다. 아래 설명 그림에서 기준점은 이해를 돕기 위해 단순하게 표시했습니다. 가상 전시 안내판의 영어 제목을 한국어로 번역하고 카메라 이동에 맞춰 표시하는 예시 직접 제작한 가상의 전시 안내판 예시입니다. 영문 제목 TODAY’S PROGRAM을 ‘오늘의 프로그램’으로 바꾸고, 카메라 이동 후 같은 안내판의 새 위치에 맞추는 과정을 표현했습니다. 안내판의 나머지 문구는 한국어로 구성한 설명 그림입니다. 6. 오래된 번역 결과를 새로 처리하는 순환 준비된 번역문을 계속 재사용하기만 하면 다른 문제가 생길 수 있습니다. 카메라가 다음 안내판으로 넘어갔는데 앞 안내판의 번역문이 남거나, 대상이 크게 바뀌었는데 예전 위치 관계를 그대로 쓸 수도 있습니다. 그래서 표시를 이어 가는 과정에는 언제 새로 처리할지 판단하는 기준이 필요합니다. FIG. 10은 시간을 기준으로 이 흐름을 보여 줍니다. 번역 결과를 다른 화면에 표시한 다음, 미리 정한 시간이 지났는지 판단합니다. 아직 지나지 않았다면 표시 영역을 유지하며 뒤에 이어지는 화면에 번역문을 보여 줍니다. 시간이 지났다면 새 프레임을 저장하고 고르는 단계로 돌아가 번역 과정을 다시 진행합니다. 원문의 다른 예시에서는 처음 화면과 새 화면 사이의 시간이 너무 길거나 움직임 차이가 큰 경우, 기존 결과를 표시하지 않고 새 과정을 시작할 수 있습니다. 이는 번역문이 준비되었다는 사실과 그 번역문을 현재 화면에 올려도 되는지를 따로 판단한다는 뜻입니다. 전시 안내판 예시에서도 같은 대상을 잠깐 비추는 동안의 표시와, 시간이 지난 뒤 새 화면을 처리하는 일을 나눠 생각할 수 있습니다. 오래된 결과를 갱신하는 기준은 문장의 번역 정확도를 판정하는 기능과도 다릅니다. 화면과 결과의 시점을 맞추기 위한 처리 규칙으로 이해하시면 됩니다. US12197883B2 도 10: 경과 시간에 따른 번역 결과 유지와 재처리 원문 FIG. 10(US12197883B2). 정해진 시간이 지나면 새 화면 저장 단계로 돌아가고, 지나지 않았으면 표시 영역을 유지해 다음 화면에 번역문을 보여 줍니다. 7. 파파고와 AI 제품 설계를 함께 보는 관점 파파고의 공식 제품 소개는 사진 속 글자를 직접 입력하지 않고 번역하거나, 카메라 화면에서 실시간으로 번역 결과를 보는 사용 장면을 설명합니다. 네이버 클라우드의 Papago Image Translation 문서에는 이미지의 글자를 인식해 번역한 뒤 텍스트 결과나 번역문을 합성한 이미지로 제공하는 기능이 나옵니다. 사용자는 번역 결과를 읽지만, 서비스 설계에서는 입력 선택과 출력의 표시 방식까지 함께 다뤄야 합니다. 개발팀이라면 번역 모델만 바꿔 보는 것에 더해, 흐린 프레임을 입력으로 쓰는지, 번역 결과가 도착할 때 화면이 얼마나 달라졌는지, 표시 영역을 언제 다시 구하는지도 살펴볼 수 있습니다. 같은 문장을 잘 번역하더라도 잘못된 위치에 보이면 읽기 어렵고, 표시할 때마다 새 처리를 한다면 처리량을 함께 고려해야 합니다. 시험 장면도 나눠 준비하면 도움이 됩니다. 정지한 안내판, 천천히 이동하는 카메라, 기울어진 화면, 다른 안내판으로 전환하는 상황에서 글자와 번역문의 대응을 살펴보세요. 입력 화면과 결과가 표시된 화면, 선택한 기준, 갱신 시점을 함께 기록하면 어느 단계에서 문제가 생겼는지 설명하기 쉽습니다. AI 제품의 차이는 모델 안에서만 생기지 않습니다. 무엇을 입력으로 고를지, 계산 결과를 어떤 화면에 연결할지, 언제 새 결과로 바꿀지도 기술의 중요한 구성입니다. 네이버의 이 사례는 ‘외국어를 한국어로 바꾼다’는 기능을 넘어, 번역문을 현재의 화면에 맞춰 보여 주기 위해 처리 흐름을 어떻게 나누는지 살펴보게 해 줍니다. 티스토리에서 원문 읽기 AI 특허 전문성 보기 이 글은 표시된 게시일을 기준으로 작성된 자료입니다. 개별 사안에 대한 검토는 상담을 통해 안내합니다. 관련 업무 상담 ↗ 전체 글 보기 ON THIS PAGE 1. 번역이 끝나기 전에 화면이 움직이면 어떨까요? 2. 동영상을 여러 장의 화면으로 나누는 이유 3. 읽기 좋은 화면을 골라 글자를 번역합니다 4. 번역문을 현재 화면의 위치로 옮기는 방법 5. 화면 간격에 따라 다시 맞추거나 추적합니다 6. 오래된 번역 결과를 새로 처리하는 순환 7. 파파고와 AI 제품 설계를 함께 보는 관점 TALK TO IPLEX 우리 기업에 맞는 IP 전략이 필요하다면 기술과 사업의 상황에 맞춰 필요한 업무를 함께 살펴봅니다. ↗ 상담 문의 최근 글 특허 명세서, 실험례만 있으면 충분할까요? ↗ 이전 글 디자인 유사 판단, 조립 전 모습도 중요합니다 ↗ 함께 읽을 인사이트 인공지능 2026.10.15 거리에서 경로로, PaTH Attention PaTH Attention의 입력 의존 Householder형 변환과 상태 추적 원리, 장문·모델 전환 실험의 효과와 한계를 분석합니다. ↗ 본문 읽기 인공지능 2026.10.14 화웨이 Pangu Weather AI 특허 쉽게 읽기: 시간 간격별 모델로 예보를 이어 가는 원리 화웨이 공개출원 US20250258318A1의 시간 간격별 모델 선택, 예측 상태 전달과 기상 데이터 결합 원리를 분석합니다. ↗ 본문 읽기 인공지능 2026.10.13 큰 묶음으로 갱신하는 AI의 기억, LaCT LaCT 논문의 큰 청크 갱신, 비선형 빠른 가중치, 윈도 어텐션 및 실험 조건과 한계를 분석합니다. ↗ 본문 읽기 - https://www.iplexlaw.co.kr/ - https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4/category/ai - https://iplexlaw.tistory.com/8 - https://www.iplexlaw.co.kr/ko/ai-patents - https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0 - https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4 - https://www.iplexlaw.co.kr/ko/blog/naver-papago-ar-image-translation#case-papago-ko-0 - https://www.iplexlaw.co.kr/ko/blog/naver-papago-ar-image-translation#case-papago-ko-1 - https://www.iplexlaw.co.kr/ko/blog/naver-papago-ar-image-translation#case-papago-ko-2 - https://www.iplexlaw.co.kr/ko/blog/naver-papago-ar-image-translation#case-papago-ko-3 - https://www.iplexlaw.co.kr/ko/blog/naver-papago-ar-image-translation#case-papago-ko-4 - https://www.iplexlaw.co.kr/ko/blog/naver-papago-ar-image-translation#case-papago-ko-5 - https://www.iplexlaw.co.kr/ko/blog/naver-papago-ar-image-translation#case-papago-ko-6 - https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0 - https://www.iplexlaw.co.kr/ko/blog/brunch-case-1809 - https://www.iplexlaw.co.kr/ko/blog/brunch-case-1806 - https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations - https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations - https://www.iplexlaw.co.kr/ko/blog/huawei-pangu-weather-time-interval-models - https://www.iplexlaw.co.kr/ko/blog/huawei-pangu-weather-time-interval-models - https://www.iplexlaw.co.kr/ko/blog/lact-large-chunk-test-time-training - https://www.iplexlaw.co.kr/ko/blog/lact-large-chunk-test-time-training