開発者の観点からのIntel RealSense

Intel RealSenseを含む最新のテクノロジーには、2つの側面があります。 最初の外部は、消費者に見えます。 ほとんどの場合、それは明るく、カラフルで、その斬新さで引き付けられます。 有望なアイデアの開発の裏側は、それらを直接適用する人々によってのみ見られます。 これは大変な作業、試行錯誤の領域ですが、開発者はもっと多くを見ており、彼らの意見ははるかに権威があります。



長い間、私はRealSenseテクノロジーが内部から何であるか、なぜ他とは違うのか、なぜ有能な専門家との短所と利点について話すのかという考えを持っていました。 そして今-乾杯！ -RealSense Konstantinの能力ポポフのロシア最大の専門家の一人は、私の質問に答えることに同意しました。



知覚制御の概念は長い間空中にあり、実装の最初の試みは2000年代にさかのぼります。 なぜ今、それを実現できるのですか？

PlayStation 2のゲームでこのようなコントロールを初めて知りました。主な問題は相互作用の精度でした。たとえば、インターフェイスの管理は応答が長いため非常に不便でした。 PrimeSenseのテクノロジーに基づいて作成された最初のKinectのおかげで、最も成功した実装を見ました。 解決策は本当に便利で、最後に、ゲームを便利に管理することができました。 その後、Leap Motionが市場に参入し、RealSenseと、テクノロジーがゲームからより深刻なアプリケーションにどのように移行したかがわかりました。



私が状況を見る限り、常に2つの問題がありました：a）技術的、b）マーケティング。 技術的な観点から、ユーザーのアクションに即座に応答するために十分な精度を持つ安価なカメラが必要でした。 つまり、大きなFPS、可能な限りノイズが少ない（後処理データの負荷を減らす）、VGAよりも高い解像度の深度マップが必要でした。 PrimeSenseは完璧な製品を作ることができましたが、PrimeSenseチップに基づくセンサーを販売するStructure.IOのようなフォロワーがまだいます。 しかし、残念なことに、AppleはPrimeSenseを購入し、これらのカメラへのアクセスと開発者サポートを終了しました。 2番目の問題は、最小距離です。 RealSenseは、PrimeSenseの2倍のまぶしさの距離で手の位置を特定できます（詳細なデータを提供します）。これは素晴らしいことです。 3番目の問題は、SDKの使いやすさと機能です。 IntelがOpenNI2とMicrosoftの両方を回避した場所です。 基本的な機能に加えて、開発者に役立つ多くの利点があります。 Intelは、新しいコントロールに加えて、音声認識、感情認識、頭と顔の検出、バックグラウンドセグメンテーションなどの機能も提供するという事実によって、開発者に賄briを贈ります。 そしてそれは刺激します！







それでは、マーケティングコンポーネントに移りましょう。 私たち（私たちCappasityチーム）は常に新しいテクノロジーにお金を費やし、それらを固定し、ユーザーの成長を見ないことを嫌いました 。 お金を払えば、不必要なものを固定する準備ができています。 しかし、私が知っているように、ほとんどの開発者にとって統合にお金を払う人はいませんが、彼らは遠い将来の素晴らしい機会について話しているだけです。 かつて、Razer HydraとFalconコントローラーなどの両方を使用していました。ここでIntelは非常に正しいステップを踏み出しました-彼らはすべて、RealSenseは別のカメラではなくデバイスであると言っています。 つまり、このカメラは新しいウルトラブックに組み込まれるため、だれが当社製品のユーザーになるかが明確になります。これらは同じベストバイの電気店でウルトラブックを購入する普通の人です。 しかし、たとえば、Kinect 2の下で開発する場合、顧客は表示されません。Microsoftデバイスの販売を実際に刺激して、自分で作成する必要があります。



つまり、IntelはRealSenseテクノロジーを中心としたエコシステムの構築に成功した最初の企業となりました。そのため、すべてを捨てて、Intelのデバイスをサポートすることに真剣に取り組みました。 私たちは本物のお金を見て、これが最高のインセンティブです。







RealSenseはどの方向に向かっていますか？ この技術の主な目標は何ですか？

主な目標は、外部との新しいタイプのコミュニケーションと対話を可能にすることです。 SDKには、手、頭、顔の検索、感情の認識、データセグメンテーションの基本機能、スキャンの基本機能を定義するための基本機能が既に備わっています。 現在、新しいカメラが活発に動いています-R200は、タブレットとモバイルデバイスに間もなく搭載されます。 範囲が広く、このカメラで3D写真を撮ることができ、世界の3Dモデルを作成する方がはるかに便利です。 RealSense SDKではまだ十分ではない追加機能を待つ必要があると思います。 Intelが人間の骨格とセグメンテーション、つまりKinect 2 SDKの基本機能を決定する機能をIntelに組み込んでくれたら素晴らしいと思います。 Metaioテクノロジーは最近Appleによって購入された（そして今年の終わりからこのテクノロジーへのアクセスを閉じる）ので、拡張現実に向けた深刻な一歩を期待できると確信しています。 PCの場合、牧草地は完全に空です。 また、RealSenseの手で作業するだけで周囲の空間とユーザーがやり取りする方法になりうる仮想現実についての質問も開かれています。 インテルがSDKの開発に割り当てたリソースの数を想像することは困難ですが、非常に強力なSDKの開発を見守っています。







現在のRealSense実装で解決されない問題は何ですか、原則的に解決できない問題は何ですか？

現在の問題は、IRカメラの動作に関連しています。 IRカメラは、太陽、黒、光沢のある透明な表面を恐れています。 これらの問題はこのタイプのすべてのカメラに典型的なものであり、Intelは2つのカラーカメラからのステレオマッチングデータによって失われたデータを取得する根本的に新しい技術を作成しない限り、ここでウィザードになることはできません;）

F200とR200を比較すると、後者は黒髪をそれほど恐れません。 ハードウェアは未加工のままであり、ファームウェアのアルファバージョンを使用しているため、R200については詳しく説明しません。 繰り返しになりますが、3Dスキャンにカメラを使用するという点で比較します。おそらく、制御システムのニーズについては、すべてが素晴らしく素晴らしいです。

現在のRGBカメラの品質、および照明に対する調整方法が気に入らないのですが、カメラの改善が計画されていると聞きました。一部のOEMは、RGBチャネルにカメラを使用するでしょう。



RealSenseに競合他社はいますか？現在どのような状態ですか？

近距離では、 Leap Motionのみがあります。 残りはすべてアマチュアレベルです。 しかし、Leap Motionはまた別のカメラです。

デバイスへの統合の観点から見ると、GoogleプロジェクトProject Tangoがあります。これは、パフォーマンスの問題のためにこれまでずっと死んでおり、技術的特性の点ではるかに弱いハードウェアを備えています。 しかし、1か月前、クアルコムとの協力について発表がありました。これは楽観的な見方を示しています。 さらに、クアルコムはM4D社と緊密に連携しており、同社はタブレットを3Dカメラでリリースすることを約束しています。 しかし、私たちはまだ市場に参入するにはほど遠いプロトタイプを扱っていると言えます。



個々のカメラについて話すと、PrimeSense- Orbbecのクローンを見ました。 これまでのところ、カメラのサンプルを受け取っていません。SDKについて判断するのは困難です。通常、すべての企業が製品を美しく提示しますが、機能の品質は少なくともサンプルで評価する必要があります。 Orbbecは安価な中国製センサーであり、ユーザーを見つけると思います。 はい、OpenNI2と互換性があり、Linuxサポートがある場合は、コミュニティが集まります。

Structure.ioには優れたSDKがありますが、PrimeSenseチップの在庫はどれほど重要であっても遅かれ早かれ終了するため、次に何が起こるかわかりません。



「最大の外部カメラ」にノミネートされる可能性のあるKinect 2を忘れていました。 デバイスは良好ですが、RealSenseがR200のヒューマントラッキングサポートを行う場合、Kinect 2サポートは意味を失います。 R200はKinect 2よりも安価になり、大きな電源を必要としません。 さらに、Kinect 2 for Windowsは販売を停止し、Kinect 2 for Xbox Oneとアダプターのみを購入できます。 これは、デバイスの大量使用のトピックがなかったことを示唆しています。

だから競合他社とはあまり関係ありません。 Intelにとって、モバイルデバイスの主要な戦いに負けないことが重要です。







知覚技術を普及および開発するための共通の標準（たとえば、RealSenseに基づく）と企業のコンソーシアムを作成することは可能ですか？

プログラミングの観点から見ると、すべてが本物であり、たとえば、OpenNI2をサポートすることを誰も気にしません（Appleを除く）。これはよくできており、3Dセンサーを操作するための標準と考えられていました。 しかし、大企業が合意に達することは常に困難であり、これまでのところ、特定のOpenSense標準が私たちを待っているという確信はほとんどありません;）しかし、それは素晴らしいことです！ たとえば、SDKには3つのコードブランチがあり、コードのサポートが複雑になっています。



RealSenseは消費者にとってどのくらい面白いですか？ ユーザーは、知覚的なインターフェースを優先して、従来のインターフェースを放棄する準備ができていますか？

ソフトウェアの製造元によって異なります。 インターフェースの新しい便利な実装を提供するまで、ユーザーは従来の対話方法を使用します。 しかし、マイクロソフトはホログラムのトピックを推進しており、おそらく最も怠laな人だけが仮想現実に従事していないことがわかります。来年、ユーザーは新しいインターフェイスに適応するでしょう。

ウルトラブックを購入する消費者の観点からすると、同じお金で3Dカメラを入手することは悪くありません。 多くの消費者にとってこれはおもちゃのままですが、たとえば、潜在的な顧客は3Dオブジェクトを操作するための本当にリアルなツールを手に入れるでしょう。 また、他社が3Dカメラの興味深い有用な使用法を見つけたことがわかりました。 ゲームメーカーは、Intelの努力により、同じアバターを実行し、音声などの新しいコントロールを追加する機能に注意を払い始めています。 エコシステムは1年で揃わず、Intelには多くの苦労があります。







RealSense SDKの現在の利便性はどの程度ですか？開発者は将来、これに何を期待しますか？

ロボットで作業する人はROSが大好きなので、フォーラムでいくつかのLinuxサポートリクエストを見ました。 多くの人がオープンソースPCL SDKの機能の一部を待っています。誰かがOpenCL最適化とより自由なコンピュータービジョンアルゴリズムを望んでいます;）しかし、後者はすでに「グッズ」のカテゴリーに属します。

私の意見では、SDKを普及させるための小さなフレームワークは破損しません。 繰り返しますが、3Dスキャン、メッシュの操作など、仕事のプリズムを通してすべてを見ていきます。 GDC 2015で話をしたとき、ブースの多くの訪問者がアバター用の既製のSDKについて尋ねました。 多くの開発者は怠zyであるか、そのようなことを自分で解決するために必要な知識を欠いています。 ワンクリック統合のUnityサポートを待っています）。

また、誰もがモバイルプラットフォームを待っています。 Windows 10タブレットに関する多くの質問。 そのすべてが市場に出されると、新しいタスクと願いが現れます。 今ではすべてがすでに非常に良好であり、湿っていません。 RealSense R3 SDKは、R2と比較して大きな一歩を踏み出しました。



RealSenseの見通しはありますか、近い将来その分布はどうなりますか？

R200をモバイルデバイスに統合することを楽しみにしています。 何か問題が発生した場合、ウルトラブックとWindows 10タブレットを搭載したPC市場はいずれにせよ残るので、市場が成長することを期待していますが、成長率は依然として議論のテーマです。 CES 2016を待っています;）