要約映像自動生成技術 | NHK技術カタログ

要約映像自動生成技術

映像から重要な区間を自動で選び出して要約映像を生成する技術です。映像のあらすじや台本などの付加的な情報を必要とせず、映像のみからの自動生成が可能です。

利用分野

・ネット配信用のショート動画の生成
・ハードディスクレコーダー、パソコン、スマートフォンなどに蓄積された動画の内容を素早く把握するためのダイジェスト動画の生成

特長

（1）生成する要約映像の長さを自由に設定できます。
（2）番組の重要シーンならではの“画作り”を学習したAI（ニューラルネットワーク）により、映像制作のプロが編集したものに近い品質の映像を生成可能です。

技術解説

インターネットで独自の映像コンテンツを公開する機運の高まりや、映像の視聴スタイルの多様化などにより、撮影した素材動画や番組映像のダイジェスト（要約映像）を自動で生成する技術のニーズが高まっています。
要約映像自動生成技術は、入力映像から重要と思われる映像区間を自動抽出し、それらを連結して映像を生成する技術です。既存技術の中には、映像のあらすじや台本、映像に人手で付与した詳細なメタデータなどの特殊な情報を必要とするものがありますが、本技術は映像のみを入力として、下記の処理により自動で要約映像を生成します。

①　入力映像をカット（カメラの切替わりや編集点で区切った単位）に分割し、各カットを固定長の映像区間に分割する。
②　各映像区間から、“画作り”に関する「特徴データ」（構図特徴・顔特徴・カメラの動き特徴）を算出する。
③　番組の重要シーンならではの特徴データを学習済みである「映像要約AI」に、②の特徴データを入力し、各映像区間のスコア（重要度）を求める。
④　抽出した映像区間の合計長があらかじめ指定した長さを超えるまで、スコアの高い順に映像区間を抽出する。その際、発話の区切りを考慮し、必要に応じて映像区間を伸長する。
⑤　抽出した映像区間を連結して要約映像を生成する

本技術で使用する映像要約AIは、実際に映像制作のプロが編集した番組要約映像を学習データとしています。本技術により、プロが選んだ重要シーンならではの構図やカメラの動きを考慮した要約映像の生成が可能です。

提供可能な技術

・学習済み映像要約AI
・学習済み映像要約AIを用いた要約映像自動生成技術