剣先追跡技術（ソードトレーサー） | NHK技術カタログ

剣先追跡技術（ソードトレーサー）

フェンシング競技での剣先の動きなど、高速に移動するオブジェクトの軌跡を可視化する技術です。移動物体からの反射光を検出し、その位置に基づいて軌跡を可視映像にリアルタイムに合成します。

利用分野

・スポーツ番組制作
・軌跡表示、速度データなどを利用したスポーツ選手の育成
・剣先追跡技術を活用したエンターテインメント

特長

（1）赤外映像を利用し、高速に移動する剣先の軌跡を可視化します。
（2）カメラ1 台で運用でき、キャリブレーション作業も不要です。
（3）機械学習を利用し、剣先を高精度かつ高速に追跡します。

技術解説

フェンシング競技では、注目対象となる剣先は細い上に高速に移動するため、カメラ映像だけから試合状況を理解することが困難です。そのため、剣先の動きを分かりやすく表示する工夫が必要になります。そこで赤外・可視一体型カメラを用い、赤外映像から注目対象を検出・追跡して、その軌跡を CG化して可視映像へリアルタイムに合成します。この技術により、視認困難な高速移動体の動きを分かりやすく可視化できます。

（1）高速に移動する剣先を頑健に追跡
剣先に反射テープを貼り、カメラ側から照射した赤外線の反射光を赤外映像上で検出します。赤外映像は一般に背景が均一なため、ノイズの影響を抑えた高精度な検出が可能です。しかし、選手のユニフォームや剣のガード部分などからもノイズとなる反射光が生じます。これらノイズとなる反射光の誤検出を防ぐため、機械学習を利用しています。剣先と剣先以外の画像群からそれぞれ画像特徴を抽出し、識別器を作成することで、剣先のみを高精度かつリアルタイムに検出します。また予測アルゴリズムを用いて次のフレームの剣先位置を予測することで、選手2 人の剣を区別しながら頑健に追跡します。

（2）剣先追跡の可視化
計測した剣先の位置座標をもとに軌跡CG を描画し、剣先の「動き」を可視化します。赤外・可視一体型カメラは両映像を同一の光軸で撮影するため、可視映像へ軌跡CG を合成する際に座標変換が不要です。カメラ1 台で撮影でき、事前のキャリブレーション作業も不要なため、簡便に運用できます。

本技術はフェンシングに限らず、反射テープを貼付可能な競技やエンターテインメントに幅広く応用可能です。

提供可能な技術

・機械学習を用いたオブジェクト追跡技術
・オブジェクト追跡の可視化技術