描画に基づく画像検索技術 | NHK技術カタログ

描画に基づく画像検索技術

ワード検索が困難なケースにおいて有用となる画像検索の手法として、ユーザーが検索意図を「簡単な画を描いて」表現する手法があります。この技術は、ユーザーの描画プロセスを容易にするとともに、描画で表現した検索意図に合致した検索結果を高速に得られるようにするための技術です。

利用分野

・Web 上の画像および映像サムネイルの検索
・家庭のパソコンに蓄積したデジカメ画像の検索
・映像作成および編集時の所望シーン検索

特長

（1）データベースから取り出した画像要素を使用して要求画像を描画できるため、検索意図と検索結果が合致した検索ができます。
（2）本来ならば描画の困難な空や山肌や水面などの「リアルな模様」を、データベースから取り出した画像要素の利用により容易に描画可能です。
（3）画像の印象を強く左右する「構図」の類似性に基づいて検索対象が絞り込まれるので、検索結果の精度低下を感じることなく検索処理コストを削減できます。

技術解説

Web 上や大容量ハードディスクに映像や画像が大量に蓄積される時代となり、所望のシーンや画像を効率的に検索する技術が必要となっています。キーワード検索が困難なケースにおいて有用となる画像検索の手法として、ユーザーが検索意図を「簡単な画を描いて」表現する手法があります。しかし、描画をするためのインタフェースや機能が不十分で、苦労して描いた要求画像に対する検索結果が「しっくりこない」場合が多いのが現状です。ここで紹介するのは、このような問題を解決するための技術です。

（1）データベースから取り出した画像要素の描画への利用
上記の問題を解決するために、あらかじめデータベースから取り出した画像要素（代表的な色のリスト、代表的な模様画像のリスト）を描画のための「パレット」として用います。
代表的な色のリストは、データベースの画像集合の色ヒストグラム解析により求めます。また、代表的な模様画像は、データベースの各画像上に格子状に設定されたすべてのブロック領域画像の集合を特徴ベクトル（色や模様の度合いを示す数値ベクトル）の類似性に基づいてクラスタリングし、各クラスターの代表画像として取り出します。
このようにして生成した、データベースの代表的な画像要素を用いて要求画像を描画することにより、本来は描画の難しい空や山肌や水面などの「リアルな模様」を、画像要素の貼り付けや塗りつぶしにより容易に描画することができるとともに、ユーザーの検索意図に合致した「しっくりくる」検索結果を得ることが可能となります。

（2）構図の類似性に基づいた検索対象の絞り込みによる検索高速化
データベース中の画像の数が増加するにつれ、検索速度の低下が懸念されます。この問題を解決するために、「構図」の類似性に基づいて検索対象を絞り込むことにより、検索処理の高速化を実現します。
具体的には以下のように行います。まず、データベースの各画像において、ブロック領域を特徴ベクトルの類似性に基づき１つないし２つのグループに分けます。そして、この分かれ方の類似性に基づいて「構図グループ」を生成します。そして検索処理時に、描画した要求画像の構図データと類似した構図グループに属する画像のみを検索対象とすることで検索処理の高速化が実現されます。
この技術は、画像の印象を強く左右する「構図」に基づいた検索対象の絞り込みを行っているため、検索結果の精度低下を感じることなく検索処理コストを削減できます。

提供可能な技術

画像データベースからの代表的な模様画像リスト抽出技術
画像データベースからの代表色リスト抽出技術
描画した要求画像の色塗り領域を考慮した画像検索技術
画像の構図の類似性に基づいた検索対象の絞り込みによる検索高速化技術