白黒映像のカラー化技術 | NHK技術カタログ

白黒映像のカラー化技術

白黒フィルムなどの白黒映像コンテンツを、AI を用いてカラー化する技術です。
フレームごとの色ぶれの発生を抑えることや、簡単な操作で色を部分的に変更することができます。

利用分野

・白黒映像コンテンツの高品質なカラー化
・白黒写真のカラー化

特長

（1）同じシーンにおける色ぶれの発生を抑えることができます。
（2）カラー化した映像の色を部分的に修正することができます。
（3） AI による自動着色により、白黒映像コンテンツを短時間でカラー化できます。

技術解説

白黒映像をカラー化する技術です。従来から、色を推定するAI（色推定AI）を用いた自動カラー化技術が知られています。しかし、この技術をそのまま映像に適用するとフレームごとに色ぶれが発生するという課題がありました。そのため、これまでの映像カラー化は、人間が手作業で着色せざるを得ず、わずか5 秒程度の映像のカラー化でも数日もの時間をかけていました。本技術では、色推定AI に加えて、新たに開発した色伝播AI と色修正AI を用いることで、同じシーンにおける色ぶれの発生を抑えることができるとともに、自動でカラー化したフレームの色を部分的に変更することができます。これにより、白黒映像を短時間でユーザーの意図通りにカラー化することができます。

（1）色伝播AI による映像のカラー化
まず、色推定AI が白黒映像から切り出したフレーム画像をカラー化します。色推定AI は静止画単位でカラー化するため、この時点ではフレーム毎に色ぶれが発生する事があります。続いて、カラー化されたフレームの中から、ユーザーのイメージに近い色合いでカラー化されたものを代表フレームとして選び、次に、色伝播AI が代表フレームの色と同じ色合いになるよう、他のフレームを再度カラー化します。色推定AI と色伝播AI を併用することで、色ぶれの少ない映像のカラー化を短時間で行えます。

（2）色修正AI によるカラー化映像の修正
洋服などの色のバリエーションが多い物体は、ユーザーの意図と異なる色で着色されることがあります。そのような場合でも、色修正AI を使うことで簡単に色を修正できます。色修正AI は、人間が修正したい箇所を指定することにより、部分的に色を変更します。色修正AI で変更した色は、色伝播AI を使うことで、即座にシーン全体に反映できます。

提供可能な技術

・白黒映像を自動でカラー化する技術
・同じシーンにおける色ぶれの発生を抑える技術
・自動でカラー化した映像の色を部分的に修正する技術