類似画像検索技術 | NHK技術カタログ

類似画像検索技術

入力した画像と「見た目」が似た画像を検索する技術です。入力した画像と同じようなシーンの画像を、映っている物体の位置や大きさが異なっていても見つけることができます。

利用分野

・Web 上の画像や映像サムネイルの検索
・サーバーやハードディスク内に保存された画像や映像の検索
・映像作成および編集時の所望シーン検索

特長

1. 入力画像と「見た目」の似た画像を探すことができます。
2. 画像にキーワードが付与されていなくても、欲しい画像を探すことができます。
3. 被写体の位置や大きさが異なる画像でも見つけることができます。
4. 大まかな画像特徴の類似性に基づいて検索対象を絞り込むため、検索処理の高速化が図れます。

技術解説

大量の映像や画像をハードディスクやサーバーなどに蓄積することが可能となり、それらを素早く検索する技術が必要とされています。検索手段としてはキーワード検索が一般的ですが、付与するキーワードの種類と量には限りがあります。そこで、画像と画像を直接比較して「見た目」の似た画像を探す類似画像検索技術の必要性が高まっています。本技術では、被写体の位置および大きさが異なる画像でも見た目の似た画像を高速に検索します。

1. 検索処理の高速化
検索対象のそれぞれの画像をブロック単位に分割し、ブロック単位で特徴量を計算し、似た特徴を持つ画像をグループ化します。グループ化では、構図テンプレート（大まかな構図としてブロック単位の画像特徴を2 値化したテンプレート）により分類し、さらにそれぞれの色特徴なども加味し、階層的に分類します。検索処理の高速化は、入力画像のブロック単位の特徴量が似ているグループに属する画像集合のみを検索対象とすることで実現しています。

2. 被写体を考慮した類似度の算出
(1) レイアウトや被写体の位置および大きさに影響されにくいブロック設定
画像の顕著性マップ（「目立つ」度合いを算出したもの）に基づいて被写体領域を推定し、推定した被写体領域上にブロックをずらします。これにより、画像の被写体領域同士を同じブロックで比較して類似度を計算することができます。

(2) 被写体の類似性に重きを置いたブロック重み係数の設定
被写体領域に「ずらして」設置したブロックに対して、その顕著性に応じて重みを設定して類似度を計算します。これにより、被写体領域の特徴をより強く反映させることができ、同じ被写体が映る画像を見つけやすくします。

提供可能な技術

・被写体領域を考慮しブロック設定に基づく画像特徴算出技術
・写体領域のブロック重みを高くした画像類似度計算技術
・大まかな画像特徴の類似性に基づいた検索対象の絞り込みによる検索高速化技術