縦型動画自動切り出し技術 | NHK技術カタログ

縦型動画自動切り出し技術

16:9などの横型動画に反映された制作者の意図（制作意図※1）を保持したまま自動的に切り出し位置を決定し、縦型動画を生成する技術です。制作意図として横型動画で表現された、物体や顔などの特徴的な領域を検出※2 し、その特徴的な領域が動画内でどのように移動するかなどを考慮したうえで、縦型動画にする映像領域を決定します。

利用分野

・SNS用動画制作、編集
・既存の動画コンテンツを利活用したスマートフォン向けコンテンツの制作、編集

特長

（1）横型動画に表現された制作意図を損なうことなく、横型動画を縦型動画に変換できます。
（2）動画だけでなく静止画にも適用可能です。
（3）編集ソフトウェアや組み込みソフトウェアなどへプラグインとして実装可能です。

技術解説

動画コンテンツをスマートフォンで視聴するスタイル（スマホ視聴）が広く浸透し、近年ではスマホ（縦型）に最適化された動画コンテンツが増えてきています。スマホに最適化した縦型動画を生成する既存技術は、検出した物体領域のうちいずれか一つの物体領域を切り出すことでスマホ視聴向け縦型動画を制作しています。そのため、制作者が意図した、複数の被写体で構成されたシーンや風景のようなシーンの横型動画を既存技術で縦型動画にすると元の制作意図が失われる課題がありました。そこで、横型動画に反映された制作意図を保持しつつ、スマホ最適化された縦型動画の自動生成技術を提供します。

（1）縦型動画自動切り出し技術
本技術は実験を行った結果からアルゴリズムを導出しており、複数の被写体が存在するシーンや風景シーンでも複数の特徴的な領域をまとめて切り出すことで、制作意図を保持した縦型動画の生成を可能としています。
様々なジャンルの編集を担っている複数の編集者が、放送用ニュース動画（横型動画）に反映されていた制作意図を保持するように、物体や人物の顔などの特徴的な領域を含む映像領域を切り出して縦型動画を制作する実験を実施し、編集者によるスマートフォンでの視聴に適した切り出し範囲の決定方法や考え方などをルール化して縦型動画の生成アルゴリズムを構築しました。
放送用に制作された横型動画内の特徴的な領域を検出するだけでなく、カット単位でその特徴的な領域がカット内でどのように移動するのかを考慮したうえで、最終的に縦型動画として切り出す映像領域を決定します。
動画だけでなく静止画でも縦型に切り出すことができるため、カメラ内部やモバイル端末などで動作するアプリケーションに適用することができます。また、本技術を応用することで、スマートフォンなどで撮影された縦型動画内の特徴的な領域を検出し、その特徴的な領域を横型動画用に横型のアスペクト比で自動的に切り出すこともできます。

（2）縦型動画編集ソフトウェア
上記の自動切り出し技術で行われた映像解析処理による特徴的な領域の検出結果を利用することで、パンニング表示や画面分割表示のような映像表現による縦型動画を少ない操作で編集でき、効率的な縦型動画制作を実現できます。例えば、パンニング表示では、パンニングを行う位置と開始時間を設定すると詳細なパラメータが自動で設定されるため、カメラマンが撮影時に行うような自然なパンニング動作を自動で再現することができます。さらに、既存の編集ソフトのプラグインとして開発することで、これまでに作成してきた横型動画から縦型動画を効率的に生成できるようになります。

提供可能な技術

・縦型動画自動切り出し技術
・縦型動画編集ソフトウェア