小さなアマチュアプロジェクトとして、 AIギガピクセルニューラルネットワークを試して、お気に入りの空想科学小説シリーズの1つであるStar Trek：Deep Space Nine（DS9）を、Star Trek：Deep Space 9のロシア語翻訳で実験しました。

ディープスペースナインの展望

Remako modで高級な背景、テクスチャ、ビデオを作成するFinal Fantasy 7と同様に、DS9にはHDバージョンをリリースする予定はありません。 人気シーズンのオリジナルシリーズと次世代（TNG）のほとんどが撮影されましたが、DS9は90年代半ばに視覚効果（スペースバトルなど）で撮影されました。



アナログフィルムは、より高い解像度で再スキャンできますが、デジタルビデオでは機能しません。 シリーズのリマスタリングは非常に高価になっています。これが、HDでリリースされなかった理由の1つです。

DS9リマスターされた機械学習

ここでニューラルネットワークを使用すると便利だと思いました。 AIギガピクセルなどのツールを使用して、DS9低解像度フレームを1080pまたは4Kの高解像度にスケーリングできます。 彼らは良いリマスタリングとは決して比較しませんが、これは正しい方向への一歩です。



したがって、何が起こるかをいくつかのフレームで試してみました。 結果は素晴らしいです。 AI Gigapixelは、実際の写真でトレーニングされたニューラルネットワークを使用します。 これらはファイナルファンタジービデオゲームの高級なレンダリングに適していますが、DS9フレームと特殊効果を驚くべき品質でスケーリングしました。



以下に例を示します。





元の解像度480p（クリックして拡大）





1080p解像度の強化（クリックして拡大）





元の解像度480p（クリックして拡大）





1080p解像度の強化（クリックして拡大）



これらの個々のフレームは有望に見えました。 最初の一連の画像では、宇宙服のステーションスタッフはごくわずかです。 高級化後、はるかにシャープな数字が登場しました。



腕のクローズアップも改善されました。 皮膚のしわとしわはより詳細に見え、野球はより良い輝きと複雑なファームウェアを示しています。

映像

ただし、実際のチェックは、ニューラルネットワークがフレームのシーケンス、つまりビデオにどのように対処するかです。 アーティファクトやその他の問題は表示されますか？ 最終的に、Gigapixel AIは個々の画像をアップスケールするように設計されており、ビデオの個々のフレーム間の関係を考慮していません。



検証のため、6シーズン目のエピソード「Victim of the Angels」の一部を処理することにしました。 これは、ドミニオン戦争についての素晴らしいシリーズであり、壮大な宇宙の戦いがあり、より個人的な瞬間が直面しています。



このプロセスの詳細については、今後の記事で説明しますが、要するに、フレームの抽出とスケーリング、およびそれらからの新しいビデオの生成には、約2日かかりました。 これは、エピソードの最初の5分間の処理です（再開、オープニングシーン、紹介）。 オープンソースソフトウェアを搭載したミッドレンジおよびハイエンドPCの場合は、通常の時間です。



その結果、私はa敬の念を抱きました。 彼は私が思っていたよりも良く見えました。 問題やアーティファクトはありません。 （動いている）画像は1,000語以上の価値があるため、比較のために2つのビデオを示します。



最初の例は、静止フレームの「前後」の状況を示しています。





2番目は2つのビデオを比較します。 改善されたバージョンがどれほどシャープに見えるかに注目してください。





可能であれば、これらのビデオをテレビのYouTubeアプリで視聴することを強くお勧めします。 これにより、強化されたDS9がテレビでどのように直接表示されるかをよりよく感じることができます。



比較は良いですが、実際のビデオはどのように見えますか？ エピソードの最初の5分間を1080pの解像度で完全に示します 。

4Kはどうですか？

正直なところ、わかりません。 4Kにズームインできますが、改善を確認するための解像度のテレビやモニターはありません。 しかし、私はこのビデオを記録しました。 1080pバージョンと比較して見た目が良いかどうか、4K機器を使用している人々の意見を聞くのは興味深いです。



レンダリングは1080pよりもはるかに激しいため、ほとんど私のコンピューターを溶かしました。この4Kの例に限定します。

次は？

私はDS9の権利を所有していないため、このシリーズでやりたいことができません。 全エピソードを公開しますが、法的に不可能です。 これらのビデオは、CBSの著作権者がDS9のリマスタリングの可能性について機械学習とニューラルネットワークを調べて、お気に入りの映画をHD時代に少し近づけるという概念実証です。



強力な機器、特別にトレーニングされたニューラルネットワーク（おそらくTNGシーズンにトレーニング-オリジナルのフレームとリマスタリング後のフレームのデータセットを使用）と、私のようなDVDRipの代わりにSDソースにアクセスして、プロのチームができることを想像してください。



さて、私の側では、将来の記事のトピックとなる、高級プロセス、私がそれをどのように実施したかについて詳しくお話しすることができます。



あなたがそれについてどう思うか教えてください。