3次元コンテンツのリアルタイムストリーミング技術 | NHK技術カタログ

3次元コンテンツのリアルタイムストリーミング技術

3次元コンテンツをタブレットにリアルタイムにストリーミング伝送し、画面上に、AR(Augmented Reality)で現実空間に合成して表示します。3次元コンテンツを自由な視点から楽しむことができます。

利用分野

・博物館などにおける体験型展示
・パブリックビューイングやライブイベントにおける来場者限定のARアトラクション

特長

（1）コンテンツデータを事前にダウンロードする手間が不要です。
（2）コンテンツの切り替えや差し替えを素早く簡単にできます。
（3）複数のタブレットにコンテンツを同時に配信し、複数人で体験を共有することができます。
（4）3次元コンテンツを見る位置や方向に応じて立体音響での再生が可能です。
（5）テレビやディスプレイに表示させる映像・音声と同期した提示も可能です。

技術解説

（1）ストリーミング再生の仕組み
3次元コンテンツを、出演者や静止物をそれぞれ独立したオブジェクトとして識別できる形で、フレーム毎のデータに分割してIP(Internet Protocol)パケットに格納し、多重・伝送します(図1)。そして、静止画を連続的に表示すると動画像になるのと同じように、3次元モデルのデータを30フレーム/秒などのフレームレートで伝送し、タブレットで連続的にレンダリングすることで、動きのある3次元コンテンツのストリーミング再生を実現します。
IPパケットごとに格納されたオブジェクトを識別できることで、オブジェクト単位の処理が容易になり、様々な応用が可能となります。一例として、静止物はフレームレートを下げて伝送する、オブジェクトの重要度によって3次元データの頂点数やテクスチャ解像度を調整するなどデータを効率よく伝送することができます。また、体験者の好みに応じてオブジェクトの配置をカスタマイズすることなども可能になります。

図1 NHK技研で開発した3次元コンテンツのストリーミング再生方式

（2）伝送効率改善の工夫
2次元の映像などと比べても、非常に情報量が大きい3次元コンテンツをさらに効率よく伝送する仕組みとして、オブジェクトフィルタを開発しました。タブレットの視野内にあるオブジェクトのデータのみを伝送し、また、タブレットから遠くに位置するオブジェクトは解像度が低いデータを伝送するようなフィルタです。これにより、コンテンツの画質を下げることなく、データ量の削減と、タブレット内でのレンダリング処理負荷の軽減を実現します。この他に、3次元コンテンツに紐づけた音声データをオブジェクトの一つとして伝送することで、距離に応じた音声のフィルタ処理などに応用することが可能です。

図2 オブジェクトフィルタによる伝送効率の改善

提供可能な技術

・ストリーミング再生に適したデータへの変換技術
・配信サーバと受信アプリケーションからなるシステム