AR技術を適用したテレビシステム "Augmented TV" | NHK技術カタログ

AR技術を適用したテレビシステム "Augmented TV"

タブレットのカメラを通してテレビを見ることで、テレビの中のキャラクターが画面外に飛び出してくるような演出を可能にするシステム（Augmented TV）です。

利用分野

・デジタルサイネージ、パブリックビューイング
・博物館などの体験型展示、ライブなどの参加型イベント
・放送番組連動のデジタルコンテンツ

特長

（1）カメラを用いた画像処理によってテレビとタブレットを連携させるため、テレビとタブレット間でのネット接続が不要です。
（2）高精度な時刻同期によって、キャラクターの出入りをスムーズに実現します。
（3）タブレット内蔵のジャイロセンサーを併用することで、カメラでテレビを映していないときも、テレビの位置を推定できます。
（4）市販のテレビとタブレットだけで構成可能です。

技術解説

テレビの中のキャラクターが画面から飛び出してくる映像体験を実現するシステムです。

（1）Augmented TV とは
Augmented TV は、AR（Augmented Reality：拡張現実感）を応用したもので、テレビ画面にタブレットをかざして見ると、テレビの中のキャラクターが、テレビ画面の外に飛び出すような演出ができる新しいメディアを目指した試みです。

（2）スムーズに飛び出すしくみ
テレビ画面からキャラクターが飛び出すような演出は、タブレットのカメラで取り込んだテレビ映像に、あらかじめタブレット側に仕込んだ3D CG アニメーションを合成することによって実現します。キャラクターをスムーズに飛び出させるには、タブレットがテレビ画面の位置と向きを検知するとともに、3D CG アニメーションをテレビ映像に同期させる必要があります。テレビ画面の位置と向きは、テレビ画面の周囲に描いた「枠」をタブレットのカメラで撮影し、画像処理技術を用いて検出します。また、同期については、テレビ画面上で「動く図形」をカメラで撮影し、画像処理技術によって実現します。時刻同期の精度は、テレビとタブレットとの距離や表示する図形の大きさにもよりますが、フレーム単位（0.03 秒程度）の同期が可能です。
テレビとタブレット間においてLAN 等による接続が不要で、既設のテレビをそのまま利用することができます。画像処理技術を用いて同期を実現するため、放送に限らず、デジタルサイネージやイベント展示など、幅広い分野への展開が期待できます。

提供可能な技術

・タブレットとテレビで別々に再生されるコンテンツの高精度同期技術
・タブレットのカメラによるテレビ位置推定技術
・Augmented TV システム