
교육 영상에서 설명과 실습 안내가 겹치면 어떤 말을 받아쓸지, 만든 자막을 언제 보여 줄지 두 가지를 정해야 합니다. 바이트댄스의 미국 특허 US11837234B2는 선택한 오디오 트랙을 각각 받아쓴 뒤 자막 조각을 시작 시각순으로 모으고, 표시 시간이 겹치면 앞 자막의 끝을 앞당기는 방법을 설명합니다. 가상의 교육 영상과 캡컷의 자동 자막 기능을 보며 받아쓰기와 화면 표시가 어떻게 이어지는지 살펴보겠습니다.
가상의 요리 영상에서 두 오디오 트랙을 각각 받아써 자막 조각을 만드는 과정을 그린 개념도입니다.
1. 교육 영상에 설명과 안내가 겹치면 어떻게 될까요?
사내 교육팀이 작은 모형을 조립하는 실습을 녹화했다고 생각해 보겠습니다. 진행자는 화면에 보이는 부품을 설명하고, 실습 담당자는 별도로 녹음한 짧은 안내를 보탭니다. 편집 프로젝트의 같은 장면에서 두 목소리가 잠깐 겹칩니다. 영상의 소리를 하나로 합친 채 받아쓰면 두 사람의 말이 동시에 들어오는 부분에서 단어가 뒤섞이거나 빠질 수 있습니다.
오디오 트랙은 영상과 같은 시간축 위에 놓인 소리의 줄입니다. 영상 편집자는 진행자 내레이션, 실습 안내, 배경 음악을 서로 다른 트랙에 두고 시작 위치나 음량을 따로 바꿀 수 있습니다. 교육팀이 이런 원본 트랙을 보유하고 있다면 자막을 만들 때 어떤 소리를 글로 바꿀지 선택할 수 있습니다. 다른 트랙과 섞이기 전의 음성을 이용한다는 점이 이 방법의 출발점입니다.
베이징 바이트댄스 네트워크 테크놀로지가 출원한 US11837234B2는 2023년 12월 5일 미국에서 등록됐습니다. 이 특허는 선택한 오디오 트랙별로 말을 받아쓰고, 그 결과를 하나의 영상에서 보여 줄 수 있도록 시간순으로 정리하는 흐름을 다룹니다.
2. 선택한 오디오 트랙마다 따로 받아씁니다
자동 음성 인식은 녹음에 담긴 말소리를 글자로 바꾸는 기술입니다. 명세서의 도 1에서는 사용자가 자막 생성 작업을 요청하면 시스템이 선택된 트랙의 오디오 데이터를 찾아 각각 음성 인식을 수행합니다. 도 2는 편집 화면에서 트랙을 고른 뒤 자막 생성을 요청하는 예입니다. 영상에 트랙이 여러 개 있으면 필요한 일부를 고르거나 모두 선택할 수 있습니다.
예를 들어 내레이션과 실습 안내는 자막으로 옮기고, 별도로 둔 배경 음악 트랙은 선택에서 뺄 수 있습니다. 그 경우 진행자 트랙의 말은 진행자 트랙에서, 실습 담당자의 말은 해당 트랙에서 독립적으로 인식합니다. 트랙을 고른다는 것은 인식기에 어떤 오디오를 넘길지 정하는 일입니다. 편집자는 이미 나뉜 트랙을 입력으로 사용합니다.
인식 결과는 문장이나 발화의 일부를 담은 텍스트 조각으로 나옵니다. 조각마다 화면에 나타날 시작 시각과 사라질 종료 시각을 함께 다룹니다. 두 트랙에서 나온 문장이 따로 읽혔더라도, 결과를 같은 영상에서 보여 주려면 두 트랙의 조각을 하나의 시간축에 놓고 순서를 확인해야 합니다.
3. 자막을 시작 시각순으로 정렬하고 앞 조각의 끝을 조정합니다
트랙별로 모아 둔 자막을 그대로 차례대로 붙이면 영상과 순서가 어긋날 수 있습니다. 내레이션 조각 사이에 실습 안내 조각이 들어오는 경우가 있기 때문입니다. 특허의 도 3은 각 트랙에서 나온 자막 조각을 함께 모으고, 화면에 나타나는 시작 시각이 빠른 순서대로 정렬합니다. 이때 서로 다른 트랙에서 나온 조각도 시간순으로 이웃할 수 있습니다.
이어서 앞 조각이 사라질 시각과 다음 조각이 나타날 시각을 비교합니다. 앞 조각의 끝이 다음 조각의 시작보다 늦으면 두 자막이 겹치는 구간이 생깁니다. 도 3의 예에서는 앞 조각의 끝을 다음 조각의 시작 시각까지 앞당깁니다. 두 조각 사이에 틈이 있거나 끝과 시작이 이미 같은 시각이면 이 조건으로 앞 조각을 줄일 필요가 없습니다.
이 단계에서 바뀌는 값은 자막을 화면에 띄워 두는 시간입니다. 음성의 시작과 끝은 원래 위치에 남습니다. 명세서는 두 자막이 같은 시각에 시작하는 별도의 경우도 다룹니다. 한 예에서는 같은 시각에 시작한 조각 가운데 가장 늦게 끝나는 조각을 남깁니다. 대화 내용을 모두 보여 줘야 할 때에는 편집자가 이 처리 결과를 살펴볼 수 있습니다.
4. 가상 실습 영상에서 겹친 1초를 살펴봅니다
가상의 조립 실습 영상에서 진행자의 ‘바닥판의 홈을 먼저 확인합니다’라는 자막 A를 3초부터 7초까지, 실습 담당자의 ‘옆판을 세워 주세요’라는 자막 B를 6초부터 9초까지 표시하도록 생성했다고 가정하겠습니다. A가 먼저 나타나지만 6초부터 7초까지는 B의 표시 시간과 겹칩니다. 두 조각은 서로 다른 트랙을 받아쓴 결과입니다.

가상의 조립 실습 영상에 쓰인 두 오디오 트랙과 자막 초안을 편집자가 확인하는 모습입니다.
도 3의 방식을 적용하면 6초에 B를 보여 주기 위해 A의 종료 시각을 7초에서 6초로 옮깁니다. 그러면 A는 3초부터 6초까지, B는 6초부터 9초까지 표시됩니다. A의 글자와 녹음 파일은 그대로입니다. 시간 막대의 길이가 달라지면서 화면에서 앞 자막이 먼저 내려갑니다.
겹침을 없애는 것과 자막을 읽을 시간을 충분히 주는 것은 서로 다른 문제입니다. A가 길다면 3초 안에 다 읽기 어려울 수 있습니다. 예를 들어 진행자가 부품 이름과 조립 순서를 길게 읽는 중에 짧은 실습 지시가 들어온다면, 편집자는 내용을 확인한 후 긴 문구를 나누거나 자막 시간을 조정할 수 있습니다. 특허의 시간 비교는 이런 검토를 시작할 자막 초안을 만드는 데 쓰입니다.
5. 캡컷에서 자동 자막을 만들고 편집하는 순서
바이트댄스는 공식 제품 목록에서 캡컷을 영상 편집 도구로 소개합니다. 캡컷의 도움말에 따르면 자동 자막 기능은 영상에 담긴 말을 인식해 자막을 만듭니다. 데스크톱 안내에서는 자동 자막 메뉴에서 오디오 소스와 언어를 고른 뒤 생성하고, 타임라인에서 문구와 표시 시각을 손볼 수 있다고 설명합니다.
교육팀은 먼저 초안을 만든 뒤 영상과 소리를 재생해 자막이 실제 설명을 따라오는지 비교해 볼 수 있습니다. ‘확인’이라는 발화가 ‘화면’으로 잘못 적혔다면 글자를 고치고, 안내 문구가 다음 장면까지 남아 있다면 표시 끝을 조정합니다. 글자 오류와 시간 오류를 구분하면 수정할 위치가 분명해집니다.
예를 들어 교육팀이 여러 영상에 같은 자막 스타일을 쓰더라도, 말이 빠르거나 새로운 실습 안내가 추가된 영상은 시간을 다르게 조정할 수 있습니다. 도구가 만든 자막을 영상과 함께 확인하면 화면 전환, 발화, 자막 시작이 어떤 순서로 나타나는지 볼 수 있습니다.
6. 자막 기능을 만드는 팀이 비교할 수 있는 항목
자막 기능을 설계할 때는 입력, 인식 결과, 표시 결과를 따로 확인해 보세요. 입력에서는 어떤 트랙을 선택했고 어느 시간에 말이 겹치는지 기록합니다. 인식 결과에서는 트랙별로 필요한 문장이 빠지거나 잘못 적힌 곳을 찾습니다. 표시 결과에서는 자막 조각의 시작·종료 시각과 영상에서 문구가 실제로 읽히는지를 살펴봅니다.
같은 교육 영상을 대상으로 소리를 합쳐 받아쓴 결과와 트랙별로 받아쓴 결과를 비교하면, 두 음성이 겹친 부분에서 어떤 단어를 놓쳤는지 구체적으로 볼 수 있습니다. 시간 조정을 시험할 때는 짧은 문장과 긴 문장, 시작 시각이 같은 두 문장, 서로 겹치지 않는 문장을 나눠 볼 수 있습니다. 편집자가 어떤 글과 시간을 다시 손봤는지 기록하면 자동으로 만든 초안을 다듬는 데 든 수고도 살필 수 있습니다.
특허 검토를 준비한다면 트랙을 어떤 기준으로 선택하는지, 받아쓴 조각에서 어느 값을 꺼내 이웃한 자막을 비교하는지, 겹침을 줄인 뒤 읽을 시간이 짧아지면 어떻게 조정하는지를 실제 처리 순서대로 설명해 보세요. 팀에서 개발한 방식의 차이가 있다면 바뀐 조건과 그 결과를 같은 영상의 시간축에 표시하는 것이 도움이 됩니다.
교육 영상은 가상 예시입니다. 공개 제품 설명만으로 특정 특허 청구항의 실시를 확인한 것은 아닙니다.
아이플라이텍 AI 음성인식 특허|회의 속 제품 코드와 약어를 알아듣는 원리
삼성전자 AI 오디오 특허 쉽게 읽기: 소리 분리와 편집 화면을 나누어 준비하는 원리
음성인식과 자막 시간 제어 기술을 정리하려면 아이피렉스의 AI 프로젝트와 상담 준비 자료를 살펴보세요.
