顔表情の認識と強度推定技術 | NHK技術カタログ

顔表情の認識と強度推定技術

映像内の人の顔について、画像処理により表情の種類とその強度（度合い）を計算します。

利用分野

・ヒューマン- コンピューターインターフェース
・画像検索

特長

（1）映像内の人の顔について、表情の種類（「怒り」、「嫌悪」、「恐怖」、「幸福」、「悲しみ」、「驚き」、「ニュートラル」）を推定します。
（2）推定した表情の強度を0 から100 の間の数値で算出します。算出される強度は人の感覚に合うよう工夫されています。

技術解説

映像内の人の顔表情を分析することにより、その人の感情を推定し、推定結果に応じたサービスを提供することが可能となります。また、動画の中から、笑っている顔を検索するなど、被写体が特定の表情をしたシーンを検索することなどが可能となります。
顔の表情は、大きく分類すると、「怒り」、「嫌悪」、「恐怖」、「幸福」、「悲しみ」、「驚き」の6種類があるとされています。本技術では、画像処理により、画像中の顔領域を検出し、その顔の表情の種類と、その強度を0から100の間の数値で算出します。
あらかじめ、表情の種類とその強度が付された大量の顔画像を用いて、顔画像が入力されたときに、表情の種類とその強度を出力する関数を機械学習により求めておきます。この関数に、新たな顔画像が入力されると、この顔画像の表情の種類とその強度が計算されます。
図は、本技術の入出力イメージです。入力画像内の顔領域について、上記6種類の表情にニュートラルを加えたものの中から、最も適当なものが選択され出力されます。また、その表情の強度が、0から100の間の数値で出力されます。機械学習に用いる顔画像には、人が評価した表情の強度が付されているので、ここで計算される強度は、その顔を見たときに、人が感じる強度と合致するようになっています。

提供可能な技術

・顔表情認識技術
・顔表情強度推定技術