拡張現実のしきい値について：開発者のために準備すること（パート1/3）

注釈

昨秋のADD-2010カンファレンスで作成した同名のレポートの資料を紹介します。



短い歴史の後、レポートは拡張現実の開発における現在の状況^1）を検証します。

• センサーの使用：加速度計、ジャイロスコープ、磁気コンパス、GPS
  
  （さまざまな携帯電話、Wii、Sony Move、XSens）
  
  
• マーカーの使用：可視範囲での赤外線照明
  
  （Sony Move、OptiTrack、Vicon）
  
  
• 構造化された強調表示の使用
  
  （Microsoft Surfaceを例として使用）
  
  
• Zカメラで写真を表示+オブジェクトまでの距離
  
  （Microsoft Kinect、その前身および類似物）
  
  
• マーカーレスモーションキャプチャ
  
  （OrganicMotion、iPi Soft Desktop Motion Capture）
  
  
• 画像セットを使用した3D表面スキャン：
  
  （ステレオカメラ、3Dスキャナー、動くカメラからの3Dシーンの再現）
  
  

各テクノロジーの背後には、特定のアルゴリズムとコンピューターサイエンスの分野があります。 このクラスのアプリケーションを作成するには、完全に理解されていなければ、少なくともナビゲートする必要があります。 一例として、このレポートでは、ジャイロスコープと加速度計からのデータを処理する問題を十分に詳細に調査しました。 見かけの単純さにも関わらず、ここでも難易度があり、あまり一般的な数学ではありません。 残りのアルゴリズムは表面的に考慮され、大幅に簡素化されています。

素材

• ビデオをダウンロードする
• ポッドキャストを聞く/ダウンロードする
• プレゼンテーションの表示/ダウンロード

転写

ビデオのトランスクリプトはbelonesoxによって記録されました 。 ^2）

WTF？

こんにちは、私の名前はAndreyです。拡張現実について少しお話ししたいと思います。 レポートは少し混ざり合っており、一部はポピュリストであり、一部には深刻な要素が含まれていますが、一般的には軽量です。



実際、現在、拡張現実または拡張現実は非常に話題の言葉であり、「 ああ 、拡張現実、拡張現実」とどこでも聞こえます。「これは何ですか？」という疑問が生じます。









最もありふれた説明はターミネーターであり、彼は自分の目で私たちの世界を見て、彼に、私たちの世界の単なる写真である情報に、いくつかの追加の非常に有益な情報があります-「Subject Unknown」が追加されます...現実は現在位置しています。 これまでのところ、この種の「有用な」情報が追加されることがよくあります。



つまり、これは私たちの周囲の世界があなたにいくつかの追加情報を追加したいときです。









私たちは皆、最近のサッカー選手権に感銘を受けています。 拡張現実はすでにテレビで使用されています。たとえば、突然彼らがオフサイドで過ごし始めたとき、ボールは飛びました。 そして、ホッケーは見ることさえ不可能です：そこで、テレビにリベットするためにパックが強調されます。









実際にはもっと面白いアプリケーションがあります。これはナビゲーションシステムの開発です。誰もがすでに地図を見て、どこでどのように曲がるのかを理解しようとするのにうんざりしています。



道路の画像を表示し、画像の上にルートを直接表示することをお勧めします。これにより、見ているものとコンピューターが伝える内容を非常に簡単に比較できます。



これまでのところ、もちろんこれはすべてストリートビュー上で機能しますが、一般的にはかなり良いですが、これはカメラからのライブ画像ではありません。







子供が箱を持ってきて、カメラが箱を外し、実際に子供がこの箱の上の画面で、彼が収集して購入するように勧められている写真を見るビデオの例を次に示します。 十分に興味深いアプリケーション。









拡張現実をグーグルで検索すると、いくつかのマークがあるときにそのような写真が見つかり、その上に3次元の画像がありますが、これらはしばしば愚かなデモンストレーションのようなものです。 デザイナーとのボックスとは異なり、なぜこれが人生にあるのかは不明ですが、今では基本的に誰もがこれに夢中です。





このアプローチは、ある種のカメラを持ち、写真を撮るとき、あなたはそれを陰険に、または単純に分析し、これに基づいてこの写真の上に何かをレンダリングします。



別のアプローチがあります。



今では多くのモバイルデバイスがあり、これらのデバイスはカメラだけでなく、誰もが使い慣れて和解し、あらゆる種類の興味深い追加物を装備し始めました。 たとえば、電磁コンパス、加速度計。







実際、これらすべてのことが、1つの素晴らしいこと、つまりデバイスが宇宙でどのように方向付けられているかを理解するのに役立ちます。 それはどこにあり、どのように方向付けられていますか。



したがって、プラスあなたはビデオカメラとプラスこれをすべて表示できる画面を持っています。 その後、カメラで対象物を見ています。電話の方向を計算できるため、対象物のGPS座標がわかっていて、実際に出力している場合は、対象物が何であるかを把握できます。写真の上には、それがそのような記念碑、またはそのような破滅であるという情報があります。 これは現在非常に流行しているものであり、Googleマップなどに基づいたアプリケーションがあります。トラフィックを食べる携帯電話については、携帯電話会社は満足しています。









たとえば、大都市の知事（「ルジコフが関係しているように見える」©）は、将来のホテルや他のホテルがどのようなものになるかを見たいと考えています。 彼は自分のデバイスを街のこの場所に持っていき、そのすぐ上でこの絵の上にレンダリングします。 ここでは、例えば、モスクワ当局に深く考えて販売することができます。





このアプローチは、わずかに異なるメカニズムに基づいています。ここでは、写真について何も知る必要はほとんどないでしょう。主なことはそれを手に入れて到着することです。ここでは、カメラが私たちの母なる地球に対してどのように配置され、向き付けられているかを分析します。

AR vs. VR

合理的な疑問が生じます。これは、すでに昼食時に20歳になっている仮想現実と比較してどうですか。









拡張現実の「クラシック」が「ターミネーター」である場合、仮想現実のクラシックは映画「芝刈り機の男」です。 彼はもう何年も経っていますが、学校で見たことを覚えています。レンダリングの質はほぼ同じです。









私たちは皆、仮想現実をクレイジーヘルメットと関連付けています。 もっと真剣に、私たちはそのようなほとんど科学的な会議を持っています、私たちは間違いなく図を必要とします...





















そして、仮想現実が基本的に何らかの生成されたコンテンツであり、私たちの世界から少し取ったものである場合、彼らは手袋を手に入れますが、主な重点は生成にありました。 現実世界から何かを取り出し、デジタル世界から有用な何かでそれを補おうとするとき、その拡張現実は依然として反対です。





しかし、別の違いははるかに興味深いです。 ここにはコンピューターがあり、いくつかの入力デバイスがあり、この入力を処理しています。 出力デバイスがあり、それに応じてレンダリングとデータ準備があります。



バーチャルリアリティとそのすべての革新は、主にレンダリングデバイスと出力デバイスに対処しました。 実際、それらは現在も継続しており、現在では3Dが急増しています。 それが現実となった拡張現実は、入力デバイスとその処理方法、新しい入力デバイスと処理アルゴリズムに関するものです。

ラ・ヒストリー

簡単な歴史を簡単に見てみましょう。



どこにでも大衆に行った日付があります。 多くの開発は、実際に使用されるようになるよりもずっと前に、より早く発明されました。















キーボード、つまり電気キーボードは、70年代の始まりです。 タッチスクリーンは少し後に開発され、適用されました。これは70年代の始まりでもあり、かなり古いものです。





さらに、大きな革新は、実際にはマウスです。 そして最初に、それはアップルが大量生産で使用したのではなく、ゼロックス自体が1981年にスターマウスをリリースしました。 実際、ここ左側がそれであり、右側が現代です。 つまり この間、進歩はそれほど進んでいないことがわかります。



全体で10年が経過し、その間何も起こりませんでした。ウェブカメラが表示され始め、マウスにスクロールが表示され、インターネット上の生活が簡素化されました。これは入力デバイスの非常に重要な革新です。















さらに10年が経過し、今、私たちはブームを目の当たりにしています。 まず、アップルフォンを使用したマルチタッチの消費財に行きました。 その後、2007年にWiiMoteが登場し、そこに加速度計が挿入され、ゲームに適応しようとしました。 加速度計のみが不良であり、追加されたもので、底部に接続され、ジャイロスコープも組み込まれていることが判明しました（WiiMotion +）。





















ジャイロスコープ、加速度計、GPS、ビデオカメラなど、すべてがすぐに構築されるスマートフォンの束が今まさに出てきています。 ここでは、たとえば、リンゴの木は最後のものですが、Androidベースの電話の束は、まったく同じように詰め込まれています。















そして今何が起こっているのでしょうか？ Sony Moveが判明しました。今すぐ購入を開始できます。



興味深いデバイス。 Sony Moveは高品質なWiimoteにすぎないと思っている人もいますが、Sony Moveにはおもしろい便利な機能がいくつかあります。 彼はたくさん吐きます。















ここで、実際には、Sony Moveのプレゼンテーションで、少し抜粋してみましょう。 これはプレイステーションガジェットですが、開発者自身でさえ、宇宙でオブジェクトを3D移動するためにPCで使用すると言います。







このデバイスには、加速度計、ジャイロスコープ、磁気コンパス、発光球が装備されており、これらに沿って空間内の位置を追跡できます。 手のトラッキングが非常に優れているため、ユーザーエクスペリエンスが完全に機能します。 簡単なように思えますが、強力なもの。





そしてもちろん、最もセンセーショナルなのはMicrosoft Kinectです。 これは、深さも測定するセンサーです。 RGB画像だけでなく、オブジェクトまでの距離も。 それは11月（2010年）に予定されています。 実際、これはゲーム用でもありますが、原則は異なります。



それに加えて、RGB画像を受け取るという事実に加えて、オブジェクトの深度行列も受け取ります。 距離。 大ざっぱに言えば、レーザー距離計、他の原則にのみ。 このため、彼らは人々を追跡することができました。







これはとても興味深いビデオです。このビデオは、彼らが見せているゲームとは異なり、非常に有益です。 彼らが示すゲームでは、より原始的で恐ろしいものであり、より原始的なデバイスとアルゴリズムで同じことができる場合、壁にいくつかの塗料を投げる必要があります^3） 。





実際のところ、これはすべて今、目の前で起こっており、最初のそのような真の拡張現実は、これもすべて以前に開発されたもので、これらのすべてのApacheヘリコプターは1984年に大量生産され、非常に興味深いヘルメットがそこで使用されました事。 片方の目では、そのような半透明の表示デバイスのために、画像が投影され、補足されました-つまり いくつかのマーキング、あなたが狙う場所、いくつかの高さ、いくつかのデータ、そしてヘルメット自体にジャイロスコープが装備されていて、その中にジャイロスコープがあり、ほとんど実際のもので、まだ立っています-それはすべて飛ぶ。 これにより、パイロットがどこを見ているのかが明確になり、彼の視線に従って正確に情報が彼に投影されました。



パイロットはそれを使用した後、頭がひどく傷ついたり、ひび割れたりすることを訴えるので、これは非常に厄介なことです^4） 。 しかし、不平を言うことはできません。なぜなら、あなたは職業上の不適切さからすぐに軍から解雇され、アメリカでは軍隊で多額の支払いをするからです。 したがって、彼らはすべて苦しみ、数か月後に頭が消えますが、1年か2年後に再びひどく傷つき始めます...パイロットの1人は彼の視力を観察することに決めました、このヘルメットを使用している間、彼の目はカメレオンのように独立して動くことが判明しました。





問題は、片方の目で投影が行われ、もう一方の目ではこれが見えないことです。これは、脳が痛いため、これらの写真を相関させることができません。 しばらくして（人は動物に適応し、豚ではなく、すべてを食い尽くします）、彼らは適応し、頭は消えたように見えますが、これはすべてそのような結果につながります。 したがって、私は彼らが今、消費財でそのようなデバイスをリリースしようとしていることがわかります-購入しないでください。 頭痛と何の役にも立たないので、彼らは成功しないと思います...まあ、少しでも、そしてパイロットとして本当にやりたいなら...

どのように機能しますか？

レポートの最も有益な部分、実際にこれがどのように機能するのか、そしてこれらすべてをどのように使用できるのかを見ていきましょう。 これらの2つの写真を思い出させてください。2つの異なる原則があります。

• 画像分析。
• カメラの位置と、それが見ている場所はわかっているが、画像自体はあまり気にしません。私たちにとっての主なことは、それをユーザーに見せ、その上に何かを描くことです。

カメラをメイン入力デバイスとして使用するか、特別なセンサーを使用して、これを描写できます。









カメラで何をすべきか、その画像を分析する方法の観点から、あらゆる種類の異なるアプローチ、および一般的には方向性の全体的な爆発があります。



センサーの観点から見ると、すべてがはるかに単純であり、そのセットは非常に安定しています。まずはそれについて話しましょう。

続く

• パート2
• パート3

注釈

^1）報告から6か月が経ち、何かが変わった。 これに関する関連する脚注は、転写産物の適切な場所にあります。

^2）ここでは、レポートのトランスクリプトがやや切り捨てられた形式で示されています。 完全版はこちらにあります 。

^3）著者の中程度の懐疑論は実現しなかった。 Kinect は、最も売れているガジェットとしてギネス記録に登録されました。 そして、子供や大人でさえ、キットに含まれているシンプルなゲームが大好きです 。

^4）参照 たとえば、 Apacheヘリコプターのパイロットをデュアルビューヘルメットに適合させることに関するメモ（有名なヘリコプターパイロット -Apache：Inside the Cockpit of the World's Most Deadly Fighting Machine-Ed Macy 、一部無料でオンラインで入手可能）。