顔画像の検出・追跡・認識技術 | NHK技術カタログ

顔画像の検出・追跡・認識技術

口元や目じりなど顔の複数の特徴点を抽出し、その抽出した特徴点同士の位置関係を基本とした照合手法を用いて、顔を追跡しながら認識します。

利用分野

・登場人物の情報を利用した映像アーカイブの映像検索
・登場人物の情報を利用した編集シーンの高速探索
・出席、出勤、参加の有無などの管理システムの構築

特長

1. 顔の特徴点とその特徴点近傍で計測された特徴量から、可変テンプレートを構築します。
2. 表情や発話による顔の変形や一部の遮蔽にも対応できます。
3. 顔の向きを左右・上下の方向に追跡して、正面に向いたら認識をします。
4. フレーム単位で、顔の追跡・認識結果がリアルタイムで出力されます。

図　中継番組や局間伝送における装置の使用イメージ

技術解説

映像を解析して、その中で映っている人物を認識する技術を、「顔画像認識技術」と言います。最も簡単な手法は、一人ずつの名前が付いた顔画像をデータベースに登録し、入力映像のフレーム画像とデータベースに登録してある顔画像を比較して、入力画像との類似度が最大になった登録画像に付いている名前を認識の結果とするものですが、この手法では、入力画像と各登録画像の撮像条件（顔の位置、大きさ、向き、照明、表情、など）がほぼ一致する場合にしかうまくいきません。映像に映る同じ人物の顔は、いろいろな条件で映るので、その変動に柔軟に対応可能な手法が必要になります。

開発した技術は「可変テンプレートマッチング」を中心技術としています。システムの構成概要を下記の図に示します。
事前準備として、登録顔画像から「可変テンプレート」を構築し、それをデータベースに格納します。可変テンプレートは、登録画像における複数の特徴点の位置と、その特徴点の近傍で計測された画像の特徴量から構成されています。
画像が入力されると、まず肌色領域を抽出して、顔を検出します。次に、いくつかの「仮説」に基づいて顔が映っていそうな領域にテンプレートを当てはめ、各特徴点の位置を探索します。特徴点とその近傍から計測された特徴量をテンプレートにあるものと比べ、マッチスコアを算出します。マッチスコアが高かったいくつかのテンプレートとのマッチ結果は、次のフレームでの「仮説」のために残しておきます。以上をフレーム単位で繰り返すことで、顔画像の追跡・認識を行います。
なお、追跡には、多数の顔画像から求めた平均的な「人物不特定の可変テンプレート」を使用し、認識には、「登録顔画像から構築された可変テンプレート」を使用しています。

提供可能な技術

・肌色領域抽出技術
・顔の追跡技術
・可変テンプレートを用いた顔画像の認識技術