ニュース・知財情報

ByteDanceの自動字幕特許:トラック別の文字起こしと表示時間の重なり調整

US11837234B2の音声トラック選択と字幕の時刻調整を、CapCutの公開操作案内と区別して読み解きます。

架空の料理動画を使い、二つの音声トラックを個別に文字起こしする流れを示した概念図です。
架空の料理動画を使い、二つの音声トラックを個別に文字起こしする流れを示した概念図です。

研修動画で説明と作業指示が重なると、どの音声を文字にするかと、字幕をいつ表示するかをそれぞれ決める必要があります。ByteDanceの米国特許US11837234B2は、選択したトラックを個別に認識し、文字列を開始時刻順に並べ、重なった字幕の表示終了を早める処理を説明しています。架空の研修動画でその流れを見ていきます。

1. 説明と作業指示が重なる場面

模型の組立研修を撮影し、進行役による部品説明に、別録音の作業指示を加えたとします。両者を混ぜた音声だけを認識すると、同時に話した部分の単語が抜けたり、取り違えられたりする可能性があります。

音声トラックは、動画と共通の時間軸に配置する音の列です。ナレーション、作業指示、音楽を別トラックに置けば、位置や音量を個別に調整でき、混合前に文字起こしの対象も選べます。

北京字節跳動網絡技術のUS11837234B2は、2023年12月5日に米国で登録されました。ここで扱うのは、選択した各トラックの認識結果を、同じ動画の字幕としてまとめる技術内容です。

2. 選択したトラックを個別に認識する

自動音声認識は、録音された発話を文字に変換します。図1では字幕生成の要求に応じて各選択トラックの音声データを特定し、個別に認識します。図2は一つ以上のトラックを選んで字幕を生成する画面例です。

例えばナレーションと指示だけを選び、別の音楽トラックは対象から外せます。それぞれの声を、もともと分かれているトラックから認識する仕組みであり、混合済み音声から話者を分離する処理とは異なります。

認識結果は発話やその一部を表す文字列となり、表示開始時刻と終了時刻を持ちます。認識を別々に行っても、最終的な字幕は動画の共通時間軸に配置しなければなりません。

3. 開始時刻順に並べて表示終了を調整する

トラックごとの全文を順番に連結すると、実際の発話順序から外れる場合があります。図3では、選択した全トラックの文字列を表示開始時刻に基づいて並べます。

次に、先の文字列の終了時刻と後の文字列の開始時刻を比較します。重なる例では、先の終了を後の開始に合わせて早めます。すでに間隔がある場合や両時刻が一致する場合、この短縮は不要です。

変更するのは字幕の表示時間で、録音の位置は変わりません。同時に始まる文字列については、最も遅く終わるものを残す別の実施例もあります。すべての発話を掲載したい場合は、残った内容も確認する必要があります。

4. 架空の組立動画に生じた1秒の重なり

字幕A「まず底板の溝を確認します」を3~7秒、字幕B「側板を立ててください」を6~9秒に表示するとします。別の音声トラックに対応する両字幕は、6~7秒の1秒間だけ重なります。

架空の組立研修動画で、別々の音声トラックと字幕案を確認する場面です。
架空の組立研修動画で、別々の音声トラックと字幕案を確認する場面です。

図3の処理を当てはめると、Aの終了を7秒から6秒に変更します。Aは3~6秒、Bは6~9秒に表示されます。字幕の文言や録音はそのままで、表示区間だけが変わります。

重なりをなくしても、読みやすさが確保されるとは限りません。長い指示を3秒で読むのが難しければ、文章の分割や時刻の再調整が必要です。生成した区間は編集の出発点として扱えます。

5. CapCutの公開ヘルプで確認できる操作

ByteDanceはCapCutを動画編集製品として紹介しています。CapCutのヘルプは、自動字幕で音声を文字に変換し、デスクトップでは音声ソースと言語を選んで生成後、タイムライン上で文言や時刻を編集する手順を説明しています。

研修担当者は、映像と音を再生しながら生成結果を確認できます。単語の誤認識は文字の修正、説明終了後も残る字幕は時刻の修正が必要であり、両者は別の編集作業です。

複数の動画で字幕の書式を統一しても、発話の速さや追加指示に応じて表示時間は変わります。画面の切替え、実際の発話、字幕の開始を併せて確認すると、修正箇所を判断しやすくなります。

6. 開発時に残したい比較記録

入力、認識結果、表示結果を分けて整理します。選択トラックと発話の重複区間を記録し、必要な単語の欠落、字幕の開始・終了、読む時間の十分さをそれぞれ確認します。

同じ動画について混合音声の認識とトラック別認識を比較すると、重なった部分の違いが分かります。短文、長文、同時開始、重複なしの条件を含め、修正内容と編集負担も記録すると有用です。

特許検討では、トラックの選択基準、隣接字幕の比較に使う時刻値、短縮後の読みやすさをどう調整するかを処理順に説明します。同じ時間軸上で条件を変えた結果があれば、技術的な効果を具体的に示せます。

原図の表記と形状を保持しています。資料の内容は本文で説明しています。

研修動画は架空の例です。公開された製品資料だけから、特定の特許請求項の実施を認定するものではありません。

USPTO特許公報 US11837234B2

CapCutの字幕認識ヘルプ

ByteDanceの製品・サービス一覧

iFLYTEKの音声認識特許:会議の専門用語を音声と照合する仕組み

サムスンのAI音声編集:音源分離の完了前に操作画面を準備する

音声認識と字幕の時刻制御を整理する際は、IPLEXのAIプロジェクトと相談準備資料をご覧ください。

AI・特許業務のご案内

Tistory原文

韓国語原文を読む

この記事は公表時点の情報に基づいています。個別の事情については、当事務所にご相談ください。
この分野について相談 ↗記事一覧

技術と知的財産の次の一歩を、IPLEXと。