Новости и аналитика

Патент ByteDance на субтитры: распознавание отдельных дорожек и устранение наложения по времени

Разбираем US11837234B2: выбор аудиодорожек и изменение времени субтитров, отдельно от публичных инструкций CapCut.

Условный пример кулинарного видео: текст создаётся отдельно для двух аудиодорожек.
Условный пример кулинарного видео: текст создаётся отдельно для двух аудиодорожек.

Когда в учебном видео одновременно звучат пояснение и инструкция, нужно решить две задачи: распознать нужную речь и выбрать время показа текста. В US11837234B2 описаны распознавание выбранных дорожек по отдельности, сортировка фрагментов по времени начала и сокращение предыдущего субтитра при наложении интервалов. Рассмотрим этот процесс на условном примере.

1. Два голоса в учебном видео

Представим запись сборки модели: ведущий объясняет назначение деталей, а отдельно записанный голос добавляет короткие указания. При распознавании только сведённой записи одновременные реплики могут приводить к пропускам или смешению слов.

Аудиодорожка — отдельная линия звука на общей шкале времени. Раздельные дорожки дикторского текста, инструкций и музыки позволяют менять положение и громкость независимо, а также выбирать исходные дорожки для распознавания.

Патент US11837234B2 компании Beijing ByteDance Network Technology выдан в США 5 декабря 2023 года. Предмет этого разбора — техническое решение: распознавание выбранных дорожек по отдельности и объединение текста для одного видео.

2. Независимое распознавание выбранных дорожек

Автоматическое распознавание речи преобразует запись в текст. На фигуре 1 по запросу создания субтитров определяются данные каждой выбранной дорожки; фигура 2 показывает выбор одной или нескольких дорожек и запуск обработки.

Можно, например, выбрать дикторский текст и инструкции, исключив отдельную музыкальную дорожку. Каждый голос распознаётся на уже существующей собственной дорожке. Это не следует смешивать с разделением голосов в сведённой записи.

Результат содержит текстовые фрагменты с временем начала и окончания показа. Несмотря на раздельное распознавание, их необходимо разместить на общей шкале времени видео.

3. Сортировка и сокращение предыдущего интервала

Если сначала вывести весь текст одной дорожки, а затем другой, порядок не будет соответствовать видео. На фигуре 3 фрагменты всех выбранных дорожек сортируются по времени начала показа.

Далее конец предыдущего фрагмента сравнивается с началом следующего. В примере с наложением окончание предыдущего сдвигается к началу следующего. При наличии промежутка или совпадении этих времён такое сокращение не требуется.

Меняется время отображения текста, а исходная речь остаётся на месте. Для одновременно начинающихся фрагментов отдельно описан вариант сохранения того, который заканчивается позже всех. Если важно передать каждую реплику, редактору следует проверить и сохранённый текст.

4. Одна секунда наложения в условном примере

Пусть субтитр A «Сначала проверьте паз в основании» показывается с 3-й по 7-ю секунду, а B «Поставьте боковую панель вертикально» — с 6-й по 9-ю. Они относятся к разным дорожкам и пересекаются между 6-й и 7-й секундами.

Условная сцена сборки модели с отдельными дорожками и черновыми интервалами субтитров.
Условная сцена сборки модели с отдельными дорожками и черновыми интервалами субтитров.

По описанному правилу конец A переносится с 7-й на 6-ю секунду. Теперь A виден с 3-й по 6-ю, B — с 6-й по 9-ю. Текст и звук не изменяются; корректируется лишь интервал показа.

Отсутствие наложения ещё не означает удобства чтения. Для длинной инструкции трёх секунд может не хватить. Разбиение текста и дополнительная настройка времени остаются задачами редактора, а автоматически полученные интервалы служат исходным вариантом.

5. Что описано в публичной справке CapCut

ByteDance включает CapCut в список своих средств видеомонтажа. Справка CapCut объясняет создание автоматических субтитров через распознавание речи: в настольной версии выбирают источник звука и язык, затем редактируют текст и время на монтажной шкале.

Учебная команда может просматривать черновик вместе с изображением и звуком. Ошибка в слове требует правки текста, а субтитр, оставшийся после завершения инструкции, — изменения времени. Это разные виды корректировки.

Единое оформление нескольких видео не предполагает одинаковой длительности субтитров. Быстрая речь или добавленная инструкция требуют иных интервалов. Сопоставление смены кадра, реплик и начала показа помогает определить необходимые правки.

6. Какие результаты полезно фиксировать разработчикам

Разделяйте входные данные, распознавание и отображение. Запишите выбранные дорожки и периоды одновременной речи, затем оцените пропущенные слова, начало и конец показа и достаточность времени для чтения.

Сравните распознавание сведённого звука с обработкой отдельных дорожек на одном видео. Для настройки времени включите короткие и длинные тексты, одновременное начало и отсутствие наложений. Фиксируйте необходимые исправления и трудозатраты редактора.

Для патентного обсуждения опишите критерии выбора дорожек, временные значения при сравнении соседних фрагментов и настройку читаемости после сокращения. Результаты изменения условий на одной шкале времени помогают конкретно объяснить технический вклад.

Сохранены исходные обозначения и формы; содержание раскрыто в тексте.

Учебные ситуации являются условными примерами. Публичное описание продукта само по себе не подтверждает осуществление конкретного пункта патентной формулы.

Патент USPTO US11837234B2

Справка CapCut по распознаванию субтитров

Продукты и сервисы ByteDance

Распознавание речи iFLYTEK: как сопоставлять термины встречи со звуком

ИИ Samsung для аудио: интерфейс до завершения разделения звука

Изучите проекты IPLEX в области ИИ и материалы для обсуждения распознавания речи и управления временем субтитров.

Опыт патентного поверенного Ким Ёндока в области ИИ

Исходная публикация в Tistory

Прочитать корейский оригинал

Материал отражает ситуацию на дату публикации. Обратитесь в IPLEX, чтобы обсудить обстоятельства вашего дела.
Обсудить этот вопрос ↗Все статьи

Обсудим следующий шаг в защите ваших технологий и интеллектуальной собственности.