高解像度・高フレームレート化変換技術 | NHK技術カタログ

高解像度・高フレームレート化変換技術

画像を単純に拡大すると輪郭や模様に「ぼやけ」が目立ちます。また、動画の場合は、フレームレート（1 秒当たりの画像のコマ数）が低い場合には、動きがぎこちなく見えます。ぼやけの少ないシャープな画像拡大や、スムーズなフレーム内挿を実現するための画像処理の変換ツールを紹介します。

利用分野

・画像加工（フォトレタッチ）における解像度変換
・ビデオ編集におけるフレームレート変換
・デジタルカメラ用のデジタルズーム
・テレビや録画機用の解像度変換およびフレーム内挿

特長

（1）低解像度の静止画や動画を、高解像度に変換することができます（超解像画像復元）。
（2）劣化した画像を復元できます（劣化画像復元）。
（3）フレームレートが低い動画を、高いフレームレートに変換できます。また、高解像度化と高フレーム化を同時に実現します（時空間解像度変換）。
（4）用途やシーンに応じて、映像のシャープさや質感を容易に調整できます。
（5）ハードウェアやソフトウェアへの実装が容易な構成です。

技術解説

映像編集やビデオ配信が個人にも浸透し、多様な解像度やフレームレートの映像が流通するようになっています。また、テレビやデジタルカメラなどの映像機器の高解像化も著しく、低解像度の映像を高解像度に変換する超解像機能を搭載する製品も増えています。ここでは、ぼやけや動きのぎこちなさを改善するための解像度およびフレームレートの変換ツールを紹介します。

（1）ウェーブレット超解像ツール
動画、静止画のいずれにも適用可能で汎用的な高解像化変換ツールです。処理対象画像の輪郭（エッジ）情報に基づいて、より緻密な補強信号を合成し、これを処理対象の画像自身と合成することで、精細感のある高解像画像を生成します。用途やシーンに応じて、シャープさや質感を容易に調整できるのが特徴です。また、直列に配置したデジタルフィルター群を並列に接続した単純な構成となっており、ハードウェアやソフトウェアへの実装が容易です。

（2）ハイブリッド超解像ツール
動画に適用可能な高解像化変換ツールです。汎用的なウェーブレット超解像と、動きのあるシーンに効果的な複数フレーム超解像を統合したもので、さまざまな動画に適用できます。複数の超解像手法を相補的にハイブリッド化するノウハウも含まれています。

（3）時空間解像度変換ツール
動画における被写体の動きを利用する解像度およびフレームレートの変換ツールです。前後のフレームを利用し、画像内の動きを補正しながら重ね合わせることで画像を精細化します。フレームとフレームの間の画像を合成することも可能で、高解像化と高フレームレート化を同時に実現します。

（4）逐次モンテカルロ超解像ツール
撮像時の劣化のしかたが分かる場合に効果的な画像復元ツールです。確率統計演算に基づく強力な逆問題解法である逐次モンテカルロ法を用いて、縦横4 倍といった高倍率の解像度変換にも対応できます。ソフトウェア実装法、並列処理法などのノウハウも含まれています。

提供可能な技術

・超解像画像復元技術
・劣化画像復元技術
・時空間解像度変換技術
・ソフトウェアおよびハードウェアの実装ノウハウ