頑健な対応点探索による高精度なカメラ姿勢推定技術 | NHK技術カタログ

頑健な対応点探索による高精度なカメラ姿勢推定技術

AR（Augmented Reality：拡張現実感）アプリケーションや、映画製作、ドラマ番組制作における映像合成では、カメラがどこにあり、どちらを向いているかの情報、いわゆるカメラ姿勢情報が必要になります。本技術は、撮影映像のみから、それぞれの映像の対応点探索を頑健に行うことにより、カメラ姿勢情報を高精度に推定します。

利用分野

・映像制作
・AR アプリケーション

特長

（1）頑健な対応点探索によりカメラ姿勢情報を高精度に推定することで、高品質で違和感のない映像合成やAR アプリケーションを提供できます。

技術解説

カメラの姿勢情報は、映画やテレビのドラマ番組などの映像合成やAR のアプリケーションなどにおいて、撮影するカメラの動きに合わせてCG を映像合成するために利用されます。
カメラに直接センサーを取り付けてその姿勢情報を取得する方法もありますが、カメラの動きなどに制約がかかる場合があります。一方、撮影映像のみを用いてカメラの姿勢を推定する手法は、そのような制約はありませんが、撮影環境や被写体の状況によって、カメラの姿勢情報の推定が不安定になり、不自然な映像合成となる場合があります。本技術は、このような課題を改善できます。

（1）撮影映像における頑健な対応点探索と高精度なカメラ姿勢推定
カメラ姿勢情報は、時間変化とともに移動する被写体において、ある時刻の被写体の特徴点（被写体のコーナーなど）が、次の時刻の映像のどこに対応するか探索し、対応が取れた点を各時刻ごとの被写体の特徴点として追跡します。そしてそれらの情報から方程式を近似的に解いて求めるのが一般的です。対応点の探索処理で誤りが生じると、カメラ姿勢推定結果の誤差が増大し、場合によっては推定が破たんします。本技術は、被写体の位置関係に基づく一定の拘束条件を与えることで、対応点探索における誤りを抑制することが出来るため、カメラ姿勢推定を高精度に行うことができます。

（2）撮影後の映像加工やリアルタイムのAR アプリケーションなど幅広く利用可能　映画やドラマの映像合成では、高精度であることが優先されるため、繰り返し処理等により時間を掛けて方程式を解きます。一方、AR アプリケーションでは、簡略化した処理手法によりリアルタイムに推定できる手法が用いられます。本技術の頑健な対応点検索による高精度なカメラ姿勢推定は、いずれの用途においても適用可能です。

提供可能な技術

・頑健な対応点探索による高精度なカメラ姿勢推定技術