新闻与洞见

字节跳动自动字幕专利:分轨识别语音,再调整字幕重叠时间

解读US11837234B2的音轨选择与字幕时间调整,并区分专利公开内容和CapCut的公开操作说明。

以虚构料理视频说明两条音轨分别转写为字幕片段的概念图。
以虚构料理视频说明两条音轨分别转写为字幕片段的概念图。

教学视频中,讲解与操作提示可能同时出现。系统既要决定识别哪段语音,也要安排字幕的显示时间。字节跳动的美国专利US11837234B2介绍了逐轨识别、按开始时间排序,以及在字幕重叠时提前结束前一条字幕的处理方式。下面用虚构的教学视频说明这一流程。

1. 讲解与操作提示同时出现时

设想一段模型组装教学视频:主持人介绍部件,另一段单独录制的语音补充操作指令。若只对混合后的声音进行识别,同一时段的两段话可能产生漏字或混淆。

音轨是视频时间轴上的独立声音轨道。旁白、操作提示和背景音乐分轨保存时,编辑人员可以分别调整位置与音量,也可以在混音之前选择需要转写的轨道。

北京字节跳动网络技术有限公司的US11837234B2于2023年12月5日在美国获得授权。本文关注其技术公开:分别识别选定音轨,再把文字片段组合成同一视频的字幕。

2. 对选定音轨分别进行语音识别

自动语音识别把录音中的话语转换为文字。图1描述系统收到字幕生成请求后,查找选定各轨的音频数据并分别识别;图2展示选择一个或多个音轨后生成字幕的界面。

例如,可以选择旁白和操作提示,排除独立的背景音乐轨。每段语音都从原有的独立音轨中识别,这不同于从已经混合的录音中分离说话人。

输出是包含句子或部分话语的文字片段,每个片段关联显示开始与结束时间。即便识别过程分开进行,字幕最终仍须对齐到视频的共同时间轴。

3. 排序后调整前一条字幕的结束时间

把一个音轨的全部字幕接在另一个音轨之前,会破坏实际的时间顺序。图3先按照显示开始时间,对所选音轨产生的文字片段进行综合排序。

随后比较前一片段的结束时间与后一片段的开始时间。在重叠的示例中,把前一片段的结束改为后一片段的开始。两者本来有间隔,或前一条恰好结束时后一条开始,就无需这样缩短。

调整的是字幕显示区间,录音本身不移动。对于同时开始的片段,说明书另有保留结束最晚片段的实施方式。因此,若需呈现全部话语,还应检查最终保留下来的内容。

4. 虚构组装视频中的一秒重叠

假设字幕A“先检查底板的槽”显示于第3至7秒,字幕B“请把侧板立起来”显示于第6至9秒。它们来自不同音轨,在第6至7秒之间重叠一秒。

虚构组装教学视频中,编辑人员检查独立音轨与字幕显示区间。
虚构组装教学视频中,编辑人员检查独立音轨与字幕显示区间。

采用图3的方式,将A的结束从第7秒提前到第6秒。A于是显示于第3至6秒,B显示于第6至9秒。字幕文字和录音都不变,只改变显示区间。

消除重叠并不等于保证可读性。如果A很长,三秒可能不足以读完。编辑人员仍需考虑拆分文字或重新安排时间,自动生成的区间只是编辑起点。

5. CapCut公开帮助说明的操作流程

字节跳动在官方产品列表中把CapCut列为视频编辑工具。CapCut帮助页说明,自动字幕通过语音识别生成文字;桌面端可选择音频来源与语言,再在时间轴上修改文字和显示时间。

教学团队可以播放画面和声音,同时检查字幕初稿。把某个词识别错需要修改文字,提示说完后字幕仍停留则需要调整时刻。这是两类不同的编辑问题。

多段视频沿用相同字幕样式,也不意味着显示时长完全相同。语速加快或增加操作指令时,应结合镜头切换、实际发话和字幕开始时刻确定修改位置。

6. 开发团队可以保留哪些比较记录

分别检查输入、识别和显示结果。记录选择了哪些音轨、何时有重叠语音,再检查必要词语是否遗漏,以及字幕的起止时刻和阅读时间是否合理。

在同一视频上比较混音识别与分轨识别,可以看到重叠处漏词的差别。时间调整测试可覆盖短字幕、长字幕、同时开始和无重叠情形,并记录编辑修改量。

准备专利讨论材料时,可按流程说明音轨选择标准、相邻字幕所比较的时间值,以及缩短后阅读时间不足的处理。记录同一时间轴上不同条件的结果,有助于解释技术贡献。

图中保留原始标注与形态,相关内容在正文中说明。

教学场景为虚构示例。公开产品资料不能单独证明某产品实施了特定专利权利要求。

USPTO专利文献US11837234B2

CapCut字幕识别帮助

字节跳动产品与服务

科大讯飞语音识别专利:让会议术语与声音相互校验

三星AI音频编辑:在分离完成前准备操作界面

如需整理语音识别和字幕时间控制技术,可查看IPLEX的AI项目与咨询准备资料。

了解金容德专利代理师的AI专业经验

Tistory原文

查看韩文原文

本文基于发表时的情况撰写。如需就具体事项咨询,请联系IPLEX。
咨询相关业务 ↗全部文章

与IPLEX探讨技术保护与知识产权布局的下一步。