映像シーン検索技術 | NHK技術カタログ

映像シーン検索技術

ワード検索が困難なケースにおいて有用となる画像検索の手法として、ユーザーが検索意図を「簡単な画を描いて」表現する手法があります。この技術は、ユーザーの描画プロセスを容易にするとともに、描画で表現した検索意図に合致した検索結果を高速に得られるようにするための技術です。

利用分野

・映像作成時の所望シーン検索

特長

（1）ブロック画像は、映像内容との因果関係が強いため（「山肌」らしいブロック画像、「海面」らしいブロック画像など）、ブロック画像の種類と出現率を表すヒストグラムをシーンの動画特徴とすることで、映像内容に基づいたシーン検索が可能となります。

技術解説

(1)ブロック画像種ヒストグラムの生成方法
本技術の特徴である「ブロック画像種ヒストグラム」の生成方法について説明します。
まず、事前に準備用映像を解析し、主要なブロック画像の種類（ブロック画像辞書）を求めておきます。具体的には、準備用映像からサンプリングした各フレーム画像をブロック分割し、それらのブロック画像を色や模様の度合い（特徴ベクトル）に基づいてクラスタリング解析し辞書を作ります。
そして、このブロック画像辞書を用いて、シーンの「ブロック画像種ヒストグラム」を以下の手順で計算します。

①シーンからフレーム画像をサンプリングする。
②各フレーム画像をブロック分割し、ブロックごとに特徴ベクトルを計算する。
③各ブロック画像とブロック画像辞書の各要素の特徴ベクトルを比較し、辞書のどの要素がどのくらいの比率で出現するのかを表すヒストグラムを求める。このヒストグラムがシーンの「ブロック画像種ヒストグラム」となる。

(2)ブロック画像種ヒストグラムを用いたシーン検索
検索対象映像内全てのシーンについて、事前にブロック画像種ヒストグラムを計算しておきます。そして、検索キーとしてシーンが与えられた時に、そのブロック画像種ヒストグラムを計算し、あらかじめ計算してあった全シーンのブロック画像種ヒストグラムと比較することで、類似したシーンを検出します。

提供可能な技術

・ブロック画像種ヒストグラムによって複数のカットをシーン単位で映像検索する技術
・ブロック画像種ヒストグラムの変化に基づいて複数のカットを統合しシーン系列を生成する技術