🎢 👩🏼‍✈️ 🚾 VRビデオの未来-GoogleのVR180 👨‍🍳 👉 🙆

ヒント：このgifはクリックすると開始および停止します

S3D：痛みはない

今年の4月、GoogleはVR-videoの新しい形式であるVR180の技術的な詳細を発表しました。フォーマットの仕様はGitHubのGoogleリポジトリにアップロードされ、カメラメーカーは特別なカメラの作成を求められ、フォーマットはYouTubeでサポートされるようになりました。

基本的な考え方は非常に簡単です。「通常の」VR-ビデオ-360-ビデオでは、主なアクションが原則として一方から発生し、ストリーム全体がデバイスに送信されている間、頭をすべての方向に水平に回転させることができます。 冗長な情報。実際、ほとんどの場合、360度の表示を実装する必要はありません。同じ効果を得るには180度で十分です。この場合、フレームの「後半」が2番目の角度に使用されます。つまり、ステレオになります。

したがって、提案された形式は、360ビデオよりもさらに没入感が高く、製造が安く、撮影が簡単で、ステッチングに問題はありません。

これはどのように可能ですか、Googleは何を提供しましたか？

近い将来、VRビデオを気にかける人は誰ですか？Catへようこそ！

VR180の概要

まず良いことについて。

VR180は360ビデオよりもはるかに簡単に撮影できます。最高 17台のカメラを使用して高品質の 360ビデオ（下記のXiaomiの例）を撮影します。これは、作業ビデオのサイズ、部分的な障害、過熱、カメラの不安定なフォーカスなどに多くの問題を引き起こします。同時に、単純なユーザーの観点からは、最高のカメラとして認識されました2つの魚眼レンズ（1、2、3）を備えたカメラ。

出所

新しい形式も2台のカメラで撮影されます。これにより、エンドデバイスのコストが大幅に削減されます。同時に、従来のカメラで作業するすべてのコツが関連するため、撮影技術は大幅に簡素化されます（結果のみが潜在的により壮観で、没入感が高い）。このフォーマットを成功させるには、すべての主婦とすべての生徒が簡単に使用できることが重要です。したがって、単純であるほど良い。

さらに、VR180では、いわゆるステッチング（接着）の問題が解消されます。2台のカメラの写真がステッチされた場所で非常に顕著なアーティファクトが発生します。最近まで、少し時間が経つとステッチの問題が解決されるようでした。悲しいかな、彼らははるかに複雑であることが判明しました。接着の境界に動きの速いまたは半透明のオブジェクトがある場合、自動モードでのビデオ処理アルゴリズムの現在の開発レベルでは、問題は解決されません。もちろん、自動マッティングアルゴリズムが開発されていますが、アーティファクトがないことは、ディープラーニングメソッドでも保証されていません。 VR180にはステッチがありません。つまり、原則として、それに関連する問題はありません。

そして最後に、ほとんどの場合、360-videoのショットはフラットです。つまり、両眼視の観点から見ると、画像は目の前にあるスクリーンにぶら下がっているように見えます。これにより、「すごい効果」と没入効果が低下することがよくあります。

これらの点はすべて、フォーマットの成功を予測するという点で非常に有望に見えます。その結果、メーカーはVR180に特化したカメラの生産を非常に積極的に開始しました。たとえば、

Xiaomiが VR180市場に参入したという事実は確かに励みになります。

また、魚眼レンズを備えた2台の通常のカメラからVR180を撮影するためのカメラを組み立てることができるソリューションもありました。実験を開始するためにマウントを印刷または購入するだけで十分な場合もあります（以下はGoPro、デジタル「石鹸皿」、Sonyミラーの例です）。

出所

出典： http : //products.entaniya.co.jp/products/equipment-for-3d-stereo-180-vr/

さらに、1台のカメラがVR180と360の両方のビデオ形式での撮影をサポートしているときに、面白いソリューションが登場しました（これは、最小化状態で360、展開状態でVR180を撮影する「クラムシェル」です）。

出所

とりわけ、VRビデオを撮影するための実験の新しい視野が開かれました（Xiaomi YI Horizon VR180カメラの写真）：

VR180で撮影するための新しいデバイスの数は非常に多く、これが新しいフォーマットの人気に大きく貢献しています。

VR180の紹介

今日、企業は可能な限りVRの実装を試みており、フォーマットをより普及させ、普及させたいと考えています。そして最も重要なこと-安い。 Googleも例外ではありません。「ヘッドマウントディスプレイ、HMD」を一般的な用途であるGoogle Cardboardに導入するという予算決定を誰もが覚えています。

もちろん、その機能は高価なHMDと比較することはできませんが、主な目標は達成されました：VRをよりアクセスしやすくし、1ドル未満の追加コストですべてのスマートフォンを仮想現実ヘルメットに変えることです。

Googleは成功に基づいて、YouTubeへのアップロードをサポートし、特別な検索フィルターを備えた新しいVR180フォーマットを発売します。

これは、「内部から」新しいフォーマットのビデオフレームがどのように見えるかです。

MP4では、ビデオを球形に変換する特別なメタデータが追加されました。 一般的に言えば、リンクをたどるだけで、通常のフラットビデオが表示される可能性が高くなります。これは、VR180ビデオに加えて、角度の1つ（左）の通常の長方形への投影もサイトにアップロードされるためです。 上の図のように画像を表示するには、たとえば、純粋なMP4形式でビデオをダウンロードする必要があります。 基本的に、解像度は4Kです。 カメラを移動する機能は、Cardboardアプリケーション（ Google Play 、 AppStore ）を搭載したモバイルデバイスで表示したときに表示されることが保証されています。 まあ、もちろん、本格的なHMDで。

段ボールのヘルメットに似たそのようなビデオを撮影することも、ユーザーに広く配布するのに十分安価であることが判明しているはずです。 この形式でビデオを撮影するカメラのコストは約300ドルです。高価なステレオゲームと比較すると、これはまったく新しいレベルです。すべてがうまくいくように思えます。ただし、問題は、新しい形式がステレオ形式であるということです。ご存じのように、ステレオには多くの難しい問題があります。

VRのステレオ品質

ステレオ（一般的な用語では、3D）になるとすぐに、3D映画館に行くときの頭痛の種をすぐに思い出します。このような不快感の原因については、ステレオフィルムに関して、多くの記事（ 1、2、3、4、5、6、7 ）で詳細に調べました。要するに、多くの3Dフィルムが多くの理由で作成（または変換）されているため、ステレオビデオのアーティファクトに敏感な視聴者は、事前にシトラモンだけを撮ることができます。残念ながら、3Dフィルムの問題のほとんどは、VR180でも見られる立体的なアーティファクトに関連しています。そのため、このような映画で不快感を引き起こすすべての要因は、バーチャルリアリティでビデオを見るときに不快感も引き起こします。 VR180コンテンツの品質の基本的な検証でさえ、前世紀中頃の従来のステレオの品質に匹敵することが示されました...

言い換えれば、愛好家は喜ぶが、大勢の聴衆は文句を言うだろう。

ステレオビデオの品質を分析するために、 VQMT3Dプロジェクトを使用しました。VQMT3Dプロジェクトは、モスクワ州立大学VMK学部のコンピューターグラフィックスおよびマルチメディア研究所のビデオグループで開発されています。その目的は、ステレオ制作者にポストプロダクション段階で考えられるすべてのアーティファクトの発生を追跡する機能を提供することです。また、VR180もステレオであるため、事実上のプロジェクトはこの形式に適用できますが、いくつかの制限があります。次の例では、フレーム情報はVQMT3Dを使用して取得されます。

色の歪み

この問題は最も理解しやすく、比較的簡単に修正できます。片方の目を閉じて、オブジェクトを見てください。次に、もう一方の目で同じことを行い、質問に答えます。目が変わると色が変わりますか？一般的な場合、いいえ。そのため、ステレオビデオでは、左右の角度で同じオブジェクトの色に違いがあってはなりません。ただし、YouTubeで撮影された実際の動画で見られるものは次のとおりです（空や水などの固体領域に注意してください）。

ビデオリンク

色の歪みは多くの理由で発生する可能性があります。たとえば、カメラのキャリブレーションの違い、マトリックスの加熱、レンズの端が光にさらされた場合などです。したがって、同じカメラで同じ撮影パラメーターを使用しても、色が著しく異なる場合があります。

動き補償を使用して右角度を左に減らし、チェッカーボードパターンで左からのブロックと右角度を減らすときに、「チェッカーボード」を使用してこのアーティファクトを視覚化するのが最も便利です。

以下は、光源がフレームに入る場合の例です。

ビデオリンク

光源自体が角度によって大きく異なるだけでなく、まぶしさで画像全体の色を歪めます。

太陽がフレームに当たった場合のより厳しい例：

ビデオリンク

太陽の反対側のカメラの設定が失敗したため、マトリックス上の赤いハイライトの形でひどいアーティファクトが発生します。色の歪みは実生活では非常にまれであり、上記のタイプのアーティファクトはまったく見られず、最終的に見ると疲労が蓄積します。残念ながら、聴衆の最も敏感な部分では、疲労が頭痛に変わります。

シャープネスの違い

ステレオビデオの撮影時に発生する別の問題は、左右の角度の鮮明さの違いです。実際には、この問題は非常に一般的です。たとえば、コンピューターに10-12時間座って、画面をじっと見つめている場合（同意する必要があります、これが起こります） 、1日の終わりに、右目と左目が顕著に発散し、夕方までわずかな近視/遠視が保証されます。同時に、脳はこの問題をうまく補正します。比較的言えば、遠い/近いオブジェクトの右目または左目から明確な画像の詳細を取得します。つまり、エンジニアリング言語では、組み込みツールによって問題が定期的に解決されます。そして、朝には、原則として、視力が回復します。そしてすべてがうまくいきますが、実際のステレオビデオでは、フォーカスはシーン間で「ジャンプ」できます。「右目」が右目、次に左目、そして時には両方がよく見えるようになり、見るときの不快感が顕著になります。特に、目が既に「静止」している年齢の人々は、鋭さで発散します。

VR180の不一致の例では、わかりやすくするために、2つの角度で同じ領域の拡大断片を示しています。

ビデオリンク

このフレームの別の部分を次に示します。

ビデオリンク

このアーティファクトの外観は、技術的な理由でカメラの焦点が異なるためです。プロのポストプロセッシングがないため、「vyrviglaznye」シーンでさえYouTubeに表示されます。

ビデオリンク

拡大された画像のほとんどすべてのラベルは、シャープネスが異なります。「12 CH」という碑文に注意してください。これは、表示するときに「ゲート」するのが不快になります。

タイムシフト

奇妙なことに、コンピューターコアは長い間何百万秒も正常に同期されていますが、ステレオカメラは撮影時に100分の1秒、または10分の1秒でさえも撮影します。一方の目は、もう一方の目でまだ発生していないイベントを確認します！現実の世界では、この問題の類似物を考えることさえできません。また、このアーティファクトはVR180でも見つかりました。

フレームの右側にネオンサインがあるウィンドウに注意してください。

ビデオリンク

この時間シフトは、色の不一致を分析するときに偶然に気づかれました。これもここにあります。一時的なシフトを見つけることを目的とした特別な測定基準を使用しなくても、ちらつきの兆候が印象的です。単純に、左のフレームは右の後ろにあります！

同じシーンの別の例を次に示します。歩行者の足を見てください。

ビデオリンク

ここでは、右側のフレームで足が左側よりも遠くに移動していることがはっきりとわかります。まるで1つのフレームが他のフレームよりも数秒遅れているように見えます。さまざまなアーティファクトのステレオフィルムの短い断片を302人の視聴者に見せ、スマートフォン/ラップトップからの各断片の後に痛みのレベルを示すフォームに記入するように依頼する実験を行いました。タイムシフトはそれ自体が最も痛みを伴うアーティファクトであることが示されています。これは脳にとって不可能な状況であり、それを「処理」しようとすると明白な不快感につながります。残念ながら、ほとんどの場合、1フレーム未満のシフトが一般的であり、それを修正するのはそれほど簡単ではありません。

ちなみに、上記の例では、肉眼で角度間（特に左下隅）のフレームの回転を確認することもできますが、これも非常に不快ですが、修正がはるかに簡単です。ただし、他のアーティファクトは別の大きなストーリーであり、これに戻りたいと考えています。

Googleは「めちゃくちゃ」？

これらのアーティファクトは、アマチュアの撮影中に取得されたビデオに固有のものであるように見える場合があります。正しく使用すると、同じカメラで良好な画像が得られます。残念ながら、そうではありません。 VR180の公式ページにあるVR180形式のプロモーションビデオを以下に示します。彼は品質の基準を設定する必要があるようです。しかし、よく見ると...

色の不一致：

絶対にすべての点で色の歪みがあります。短縮法の1つが誤ってわずかに大きいホワイトバランスを設定したかのように。

そして、これはすでに歪みのないフレームの大部分です。しかし、右下隅の色は依然として顕著に発散しており、見ると特徴的な視覚的な「ストロボ」が発生します。

ステレオ分析用の特別なツールを使用しなくても、道路上の色の歪みも認識されたことは注目に値します。フレームごとにビデオを見るときに簡単に発見されました（異なるパラメータでビデオを処理するのに似ています）。

シャープネスの違い：

ここで、不一致は床とソファの継ぎ目で最も顕著です。シャープネスの最大の違いは、オブジェクトの境界です。

おわりに

最後に何がありますか？

360ビデオを含むVRは、積極的に配信されています。この技術はユーザーを魅了し、非常に有望に見えます。しかし、現在の実装の技術的品質により、視聴するのに不快感が生じます。その結果、新しいフォーマットの試用に興味を持っている一定数の人々が頭痛を覚え、撮影が失敗した場合（通常はカメラの鋭い動きで）、めまいや吐き気に加えて、フォーマットの失望につながります。

これで何ができますか？

現時点では、多くの（私たちを含む）が品質管理とステレオ問題の修正のためのツールを開発しています。

ここで、たとえば、色補正の例：

左側は元の角度、右側はアルゴリズムを使用して色補正されています。ハイライトされた角度は完全に修正されます。

天井の色が跳ね返った。

自動色補正のその他の例については、ステレオの色の歪みに関する別の記事を参照してください。

合計で、キャプチャおよび変換されたステレオビデオの約20種類のアーティファクトが現在検出されており、そのほとんどはVR180にも関連しています。将来的には、VRビデオの品質を監視および改善する方法を拡張する予定です。

VRへの現在の品質管理方法の適応
アーティファクト修正方法の追加と実装
ユーザーに警告し、メーカーのコンテンツを評価するために、視聴に起因する痛みを予測してビデオの自動レポートを作成し、品質にもっと注意を払うよう動機付けます。

このフォーマット全体の見通しはどうですか？

明らかに、現在の問題はテクノロジーの初期の問題であり、積極的に対処されます。以下が期待できます。

カメラメーカーは、いくつかの基本的な問題を解決するソフトウェアをカメラに提供します
時間が経つと（需要がある場合）、アーティファクトを修正するための専門的なソフトウェアが表示されます
YouTubeがVR180ビデオの読み込み時に何らかのアーティファクト補正を自動的に実装する可能性が非常に高くなります。これは、古き良き2Dビデオのジッターとインターレースが自動的に修正されるようになります。

おもしろいことから：背面に3〜4台のカメラを搭載したスマートフォン用のファッションが登場し、写真の品質が劇的に向上しました。

出典： Samsung Galaxy A7 （2018）およびSamsung Galaxy A9 （2018）

VR180の人気が高まるにつれて、そのサポートが「箱から出して」すべての主要なスマートフォンモデルに組み込まれることを期待することは論理的です。

はい、ほとんどの場合、画角は180°ではなく、より小さくなります。

はい、ほとんどの場合、品質は専用カメラの品質よりも悪くなります。

はい、ステレオビデオを撮影するには、大量の情報の流れを圧縮する必要があります（今日のスマートフォンはまだ設計が不十分です）。

はい、 2つの広角カメラを遠距離に配置する必要があります。

しかし、技術的には今日、フラッグシップモデルでのVR180サポートの実装に深刻な障害はありません。唯一の問題は、フォーマットの人気の高まりです。そのため、需要が膨大になり、このためのインセンティブが生まれます。

そして、トップエンドのスマートフォンがVR180の撮影をサポートし始めると、YouTubeの関連動画の数が雪崩のように増え始めることは明らかです。

また、展示会では、スマートフォンやタブレットの自動立体視ディスプレイを見ることができ、解像度を上げるとますます興味深い品質が表示されます。少なくとも、最後の波の間に2010年から2011年に大量に観測されたものと比較することはできません。この記事の執筆時点で、 RED Hydrogen Oneが発表されました。これは、新世代の3Dスクリーンを備えた最初のSERIALスマートフォンであるため、展示会でプロが見たものを購入する機会がありました。このプロセスは進行中であり、画面の解像度が高くなるにつれて、確実に速くなります。主な障害は、コンテンツの不足です。

明らかに、この「鶏と卵」の問題はすぐに解決されます。

一般的な結論：

VR180には次の重要な利点があります。

360ビデオと比較して、VR180の3Dに著しく高い没入感
複数のカメラからのビデオのステッチ（接着）のアーティファクトはありません
VR180カメラは十分に安価です
VR180の撮影は、通常のカメラでの撮影にはるかに近く、プロではない人にとってははるかに簡単です。
スマートフォンでのVR180のサポートは今後も期待できます
眼鏡やヘルメットなしでVR180を視聴できるスマートフォンの安価で高品質の自動立体視ディスプレイの登場が期待できます（現時点では、こうしたソリューションはすでに展示会で見られ、コンテンツの不足により量産とは切り離されています）

短所VR180：

安価なカメラが悪いステレオを撮影するようになり、視聴時に不快感を引き起こす
現在、受信したVR180ビデオおよびアーティファクトの修正に利用可能な後処理プログラムはありません。ショットステレオを修正する専門的なプログラムの助けを借りて問題を解決できますが、可用性が低く、使用の複雑さが高く、大量に使用されることはありません...

合計：

VR180の未来は、見るときの痛みに大きく依存します。経験が示すように、ステレオの頭痛は非常に有望なプロジェクトを「殺す」ことができるからです。
VR180の人気の高まりに伴い、ステレオに関連する問題を含む「子供の問題」の多くは、ユーザーが参加しなくても、ビデオをアップロードするときのサービスで比較的簡単に解決できます。アルゴリズム的にはすでに可能です
この形式の人気は、「鶏と卵」の問題にかかっています。撮影と視聴に十分なデバイスが表示されるはずです。同時に、360ビデオVR180とは異なり、技術的にすぐに任意のスマートフォンで簡単に撮影できるようになります。Google Pixel 5 XLがVR180を「そのまま」サポートする場合-それは自然なことです
その結果、長期的には、VR180が10年間人気を博します！

みんなの頭痛が減ります！

コンスタンティン・コジェミャコフとドミトリー・バトリン

PS謝辞

心から感謝したい：

ビデオグループの同僚のおかげで、上記のアルゴリズムが作成され、結果が計算されたおかげで、
Googleは、VR180コマーシャルのアーティファクトと、新しいフォーマットを宣伝するために、
VMKモスクワ州立大学コンピューターグラフィックス研究所コンピューティングパワーだけでなく、MV Lomonosov
Vitaliy Ludvichenkoは、ステレオビデオで開発された色補正アルゴリズムについて、
そして最後に、アレクサンダー・プロッシュキン、セルゲイ・ラブラシュキン、イゴール・スクリャロフ、エイダル・ハティウリン、イヴァン・モロデツキー、エフゲニー・リアプスティンが、このテキストをより良くするための多くの賢明なコメントと修正をしてくれました！

こちらもご覧ください：

VRビデオの未来-GoogleのVR180