超解像度モデル「TecoGAN」とは？モザイク破壊の方法を解説！
目次[閉じる]
現在、AI技術の発展は著しいものとなっています。
今までは人間の知識や経験でしかできないとされていたことも、技術の発展によりコンピューターでも可能になってきています。
AIが今後活躍する業種として、農業や接客業などが挙げられることが多いです。
しかし、動画・画像編集や合成などの分野でもAI技術が活用されています。
これまで職人の手によって行われてきた動画・画像編集や合成なども、AI技術により簡単にコンピューターでも行えます。
今回は、画像・動画編集には欠かせない高解像度モデル「TecoGAN」について詳しくご紹介しましょう。
解像度に興味がある方や、アニメや動画などのモザイクを削除してより良いものへ変換したい方は、参考にしてみてください。
TecoGANとは
「TecoGAN」とは動画の高解像度モデルのことを指し、2018年11月にドイツのミュンヘン工科大学で発表されました。
一般的には、画像よりも動画の方が解像度の変更はより複雑で困難とされています。
なぜなら、正確なフレームの画像生成が必要とされ、尚且つ映像の流れの統一性を保つ必要もあるためです。
しかし、TecoGANを使えば映像の超解像化が可能となり、更にはモザイク破壊もできます。
TecoGANの映像解像度技術を使用することで、元の映像にはない情報を再構築し、低解像度から高解像度のものを生成することができるのです。
直前の低解像度フレームの動きを元に高解像度に仕上げているので詳細なデティールの生成が可能となります。
不自然な映像の乱れも感じず、画質が劣化することもありません。
通常、動画をズームすると画質が荒くなりがちです。
しかし、TecoGANを用いることで画質をそのままにズームも可能としています。
事前設定
TecoGANを使用するためには、下記項目の設定が必要となります。
CUDA（cuDNNを含む）
CUDAは、NVIDIAが開発・提供を行っているプログラムモデルで、GPUの並列計算の際に必要なプログラムです。
NVIDIAのサイトからダウンロードできます。
こちらの画面で動作環境やバージョン、インストーラの種類を選択するとダウンロードが行えます。
次にダウンロードするのがcuDNNです。
こちらもNVIDIAのサイトからダウンロードできます。
なお、cuDNNをダウンロードする場合は、会員登録が必要です。
サイトではcuDNNの最新版が提供されていますが、事前にダウンロードしたCUDAのバージョンと一緒のものを選びましょう。
ダウンロード後に、ファイルを解凍しCUDAが保存されたフォルダに移動させれば、ひとまず完了です。
なお、NVIDIAのサイトは英語表記となります。
ダウンロード方法が分かりにくい方は「CUDAダウンロード」「cuDNNダウンロード」などとインターネットで検索してみてください。
Python環境の構築
Pythonを実行するための環境構築の方法は2種類があります。
・そのままインストール
1つ目は、Pythonの公式サイトから直接インストールする方法です。
サイトに表示されている「Download」を選択し、自分のパソコン環境を選択します。
そして、それぞれのパソコン環境に合ったバージョン別のPythonの一覧が表示されるので、最新のものをクリックしダウンロードを行います。
ダウンロード後にインストールが開始されるので、内容を確認し「Install」をクリックすれば完了となります。
・Anacondaを使用してインストール
2つ目は、Anacondaを使用して、インストールを行う方法です。
サイトの「Get Started」から「Download Anaconda installers」をクリックすると、パソコン環境を選ぶ画面へと切り替わります。
ダウンロード・インストール後にAnacondaを開き、下に表示されている「create」をクリックします。
その後、Name・pythonの入力画面となるので、名前と入力しpythonには3.7を選択すれば完了です。
h3：Pythonの各種ライブラリ
次に説明するのが、Pythonのライブラリの設定です。
Anacondaへの入力・選択が終わったら自動で設定が開始されます。
設定完了後に、さらにいくつかインストールする必要があります。
まず「Open Terminal」からターミナルを開き、「conda install tensorflow-gpu==1.14.0」を入力し、インストールを行います。
次に、「conda install keras-gpu」と入力としてkerasのインストールを行います。
そして、最後が「opencv」です。
「conda install opencv」と入力すれば、インストール完了となります。
TecoGANをダウンロード
いよいよ、TecoGANのダウンロードに移ります。
GitHubにあるTecoGANのページを開くと、ファイルの一覧が表示されます。
右上に緑で表示されている「Code」を押すと、「Download ZIP」のボタンが出てくるので、そこからダウンロードするだけです。
ダウンロード後は、デスクトップやフォルダ内に保存・解凍を行いましょう。
モデルのダウンロード
次に、モデルのダウンロードに入ります。
モデルのダウンロードを自動で行う機能がありますが、現在はwindowsには対応していないため、その場合は手動で行わなければいけません。
モデルのダウンロードリンクから行えます。
ダウンロードしたファイルを解凍し、TecoGANのフォルダへと移しておきます。
TecoGANのフォルダ内にはいつくかのファイルがありますが、その中の「runGan.py」を開きましょう。
そして、上から76行目の文字列「python3」を「python」へと変更してください。
これですべての準備は完了です。
TecoGANは、動画全体を高解像度へ変換が可能です。
動画内に映っているモザイク部分にのみ範囲指定することで、その部分の解像度を上げ、加工前の状態を再現することもできます。
しかし、TecoGANはあくまで高解像化モデルです。
解像度を下げてブロックノイズされたモザイクの復元は可能ですが、真っ黒に潰されたり、すりガラス加工をされていたりする場合の復元は難しいとされています。
また、動画用のモデルなので静止画での編集は難しくなってしまうので注意しましょう。
TecoGANを使ってモザイクを破壊する方法「JavPlayer」
TecoGANを活用して動画のモザイク除去が行えるソフトが、JavPlayerです。
モザイク破壊において評価も高く、多くのネットユーザーが利用しています。
JavPlayerのダウンロード方法とモザイク破壊の設定について詳しく説明しましょう。
h3：JavPlayerのダウンロード方法
JavPlayerのツイッター公式アカウントを見ると、製品版の販売ページ（https://site-1717195-732-8453.mystrikingly.com/）のリンクが掲載されています。
固定ツイートには体型版のダウンロードリンクも用意されています。
そこからダウンロード・ファイルの解凍を行い、「JavPlayer.exe」を実行すればソフトが展開されます。
モザイク破壊の方法
次に、モザイク破壊の方法について詳しくご紹介していきます。
・モザイク破壊の手段
JavPlayerのモザイク処理には2つの方法があります。
1つ目がリアルタイムでの再生です。
別のプラットフォームで再生されている動画の録画を行いながら、同時にモザイク処理をして保存できます。
2つ目が録画保存です。
あらかじめ録画・ダウンロードをしていた動画を読み込みモザイク処理ができます。
・モザイク破壊の方法
インストールした後にJavPlayerを開くと、下の方には動画の再生や停止が行えるボタンが表示されています。
そして、画面の上には録画開始ボタンや設定パネルがあります。
その中にあるフォルダマークにプラスがかかれたようなボタンから、映像の品質やモザイク破壊に関する設定が行えます。
設定を開くと、モザイク検出機能やフィルターの強度変更、感度・精度の調整などが可能です。
その中の「HDマーク」がモザイク判定となります。
モザイクを自動で判定し、高解像度で元の画像への復元を行います。
細かいモザイクが多い動画やVR動画には適していますが、パソコンの負荷がとても大きくなるのがデメリットと言えるでしょう。
なお、HD以下の解像度が低い動画ではこのボタンは表示されません。
TecoGANとは動画向けの超解像技術です。
元の画像情報から不足している情報を認識することで、解像度をアップしたものへと生成してくれるモデルです。
TecoGANを使って解像度をアップさせたものは、ズームしても品質が変わりません。
この超解像度技術によって、モザイク破壊も可能になるのです。
多くのファイルやソフトをダウンロードする必要があるので少し手間取りますが、インターネット上ではわかりすい説明もされています。
TecoGANは現在注目されているモデルで、ご紹介した通りJavPlayerでも活用されています。
JavPlayerにはデフォルトで、超解像度の機能が搭載されています。
そのため、JavPlayerだけでモザイク破壊も可能ですが、TecoGANを使えばさらにクオリティの高い処理が可能となるのです。
JavPlayerはデフォルトのままだとTecoGANが入っていないので、別途ダウンロードする必要があります。
ただし、現在JavPlayerは新規ダウンロードを行うことができません。
制作者側のトラブルで、アップローダの故障によりファイルが消えてしまったそうです。
現在はダウンロードできませんが、人気のソフトなので再度提供される可能性は大いに考えられます。
提供されるまでJavPlayerの公式ツイッターを定期的にチェックしておきましょう。
