解説音声制作・配信技術 | NHK技術カタログ

NHK技術の移転トップ > NHK技術カタログ

解説音声制作・配信技術

視覚障害者を含む多くの方々に番組の内容を等しく伝えるため、放送映像と連動した解説音声を制作・配信する技術です。解説放送サービス※が困難なスポーツの生中継番組を対象とし、スマートフォンなどの携帯端末へ解説音声をリアルタイム配信します。

利用分野

・主に視覚障害者を対象としたユニバーサルサービス
・音声提示によるテレビ視聴支援
・クラウドサーバーを利用した音声情報のリアルタイム配信

特長

（1）スポーツの生中継に連動した解説音声をリアルタイム制作・配信
（2）映像解析により文字スーパーや選手の動きに関する情報を自動取得
（3）クラウドサーバーからユーザー個々の携帯端末に解説音声を配信

※視覚障害者のテレビ視聴を支援するため、放送映像の内容を音声で補完するサービス。

技術解説

視覚障害者のテレビ視聴を支援するサービスに「解説放送」がありますが、制作に人手と時間を要するためにドラマやバラエティーなどの収録番組が主体であり、生放送ではほとんどサービスされていません。
本技術は視覚障害者を含む多くの方々に番組の内容を等しく伝えることを目的とし、生放送映像と連動した解説音声をリアルタイムで配信します。スポーツの試合状況や情景描写などをユーザー個人の携帯端末から発話するため、テレビのスポーツ中継を視覚障害者と晴眼者が一緒に楽しむことができます。

（1）解説文の生成技術
テレビのスポーツ中継では文字スーパーや選手の動きなど、視覚的に伝わる情報はアナウンサーがコメントしない傾向にあります。このような情報を含む解説文を自動、もしくはボタン操作による簡易な入力で生成します。解説文の自動生成には、文字認識技術と動作認識技術を利用しています（図）。
野球中継では画面隅に得点状況やボールカウントが文字スーパーされますが、これら情報を深層学習により文字認識することで、試合状況に関する解説文を自動生成します。選手動作に関しては、画面内の人物の骨格位置の推移を学習することで、ピッチャーの投球動作やバッターのスイングなどを自動認識します。手動による解説文生成についても、視認性の高い入力支援ツールにより、簡易なボタン操作で解説文を即時に生成可能です。

（2）解説音声の配信技術
生成した解説文はクラウド上の音声合成サーバーに送られ、音声信号に変換されます。その後、配信サーバーからユーザー個人の携帯端末へリアルタイム配信されます。ユーザーは受信アプリをインストールしておくことで、配信された音声を即時に聴取できます。発話する話者の性別や話速、情報量などをユーザー側で調整することも可能です。また、リクエスト発話ボタンを押すことで、得点などの試合概況をいつでも確認できます。テレビ音声の情報補完のみならず、通信の双方向性も備えた利便性の高いユニバーサルサービスを実現します。

提供可能な技術

・映像解析による解説文自動生成技術
・解説音声の配信技術