Intel Perceptual Computing Challenge-内観

9月23日23時59分（GMT）に、 Intel Perceptual Computing Challengeのアプリケーションの受け入れは終了しました 。 さて、私たち、コンペティションの参加者（複数のhabrayuzerなど、 ithabrなど ）が結果を待っています。 そして、結果はおそらくすぐにではないでしょう-せいぜい10月中旬に。 そして、待っている間に夢中にならないようにするために、私は競争がどのように行われ、競争プロジェクトの観点から開発が行われたかについてこの投稿を書くことにしました。 結局のところ、あなたが知っているように、あなたが何をすべきかわからない場合は、杖をかみます。



他の出場者がコメントで彼らの印象で私の物語を補うことを望みます、そして、さらに、彼らの投稿で、地獄が冗談ではないものでさえ。







可能であれば、私たちのプロジェクトの広告/ PRを控えようとしますが、たまたま自分のプロジェクトの開発に参加し、見知らぬ人には参加しなかったため、その進化についてほとんどを伝えることができます。 誰かが興味を持ち、役に立つかもしれないと思います。



念のために説明しますが、これはサクセスストーリーではありません。 誰も私たちのプロジェクトが何をするのか、それがまったくかかるのかを知りません（裁判官でさえも知らないでしょう）。 私たちが予見しなかった小さなことのために、彼らが私たちのアプリケーションを単に開始しない可能性があります。 開始されず、次の候補に進むだけです。 そして、私の意見では、それは別の誇り高いサクセスストーリーを書くか、静かに失敗ストーリーを書かないよりも、今すぐ記事を書くのが最善の理由です。

開始する

ハッカソンの後、同じPerC SDKで大きなIntelコンテストが開催されることを知り、そこに参加することをすでに知っていました。 そして最後に、5月6日に、競争が発表されました。 6月26日まで、アイデアの説明を記載した申請書を提出する必要がありました。 すべてのアイデアのリストから、主催者は最高の750を選択する必要があり、彼らだけがコンテストに参加することが許可されました。



そのようなアイデアは、基本的に私たちに準備ができていました。 これはハッカソンでも策定されました-これは私たちのプロジェクトVirtualens（仮想レンズ、Basurmanから翻訳）です。 アイデアは、ビデオ通話中に発生する1つの簡単な問題を解決することでした（たとえば、同じSkypeの場合）-バックグラウンドで、他の人に見せるのにあまり便利ではない何か（または誰か）がいることがあります。 まあ、ソファに靴下が散らばっていたり、洗っていない皿の山があったり、女の子などの家庭の誰かが髪の毛をバックグラウンドで誤って完全に見られたくない、またはその逆の場合は、女の子の場合は男になります家族は、ビデオ通話中に母親が小さな部分を見せないほうがよい。



PerC SDK（Creative senz3d、しかし他のモデルが約束します）で動作するカメラは写真だけでなく、深度（深度マップ）の情報も提供するため、ソリューションはそれ自体を提案しました-カメラの浅い被写界深度の効果をエミュレートします。カメラから所定の距離にあるもの、およびそれから遠くにあるものはすべてぼやけています（実際には、近いものもぼやけており、私たちはこれを認識しましたが、拒否しました-それはユーザーに追加の不便をもたらすだけです）。

アルゴリズム

ハッカソンをかけるプロトタイプ実装もありました。 そして、まだ多くの仕事が残っているという理解がありました。 それで、私は6月全体で休暇を取りましたが、休暇全体がアルゴリズムで忙しかったです。 そして、やるべきことがありました。 たとえば、rgb画像に表示した後の深度マップの穴（投稿の開始画像を参照してください-この緑は理由があるため、これらはすべて深度情報が欠落しているポイントです）。



深さが不明なポイントの出現には、いくつかの理由があります。

• いくつかのポイントまでの距離が非常に離れているため、カメラは「IR懐中電灯」でそれらを照らしていないだけです。
• 反対に、いくつかの点では、近すぎるか、そこにある物質が光沢があるか、または一般的にその側からの太陽であるため、ここでフレアがあり、ここでも点に関する情報がわかりません
• 写真は手でカーテンの影を示しています。 「IR懐中電灯」とカメラのレンズが同じポイントにないという事実のために発生します。 内蔵フラッシュを搭載した携帯電話からの撮影でも、まったく同じ効果が見られます
• そして最後に、主な最も悪いことはデプスマップをRGBに引っ張るアーティファクトです。RGBカメラとデプスカメラの視野の角度は異なります。 したがって、写真を結合しようとすると、ボールを平らな紙で包むのと同じようになります-回転しないので、後で切り取って接着する必要があります。 これが写真と「ひび割れ」です。 （もちろん、補間などを使用してこれをより正確に行うことができますが、PerC SDKに現在のアルゴリズムではなく、完全にそれを行う他の素晴らしいアルゴリズムがある場合、非常に迅速にこれを行う必要がありますプロセッサと10 fpsを与える、誰もそれを必要としません。）

このトピックに関するあらゆる種類の研究を読み、古典的な修復アルゴリズムを調べました。 このタスクのTeleaアルゴリズムは、パフォーマンスのために完全に不適切でした。 その結果、タスクによく適合するヒューリスティックアルゴリズムを作成することができました（ただし、一般的な解決策ではありません）。

申請書の提出

コンテストの主催者は最後の瞬間に驚きを示しました。 楽しい。 申込期限は1週間延期されました（7月1日）。 そのため、アルゴリズムを組み合わせることができただけでなく、これらすべてをテクノデモの状態に実装し、デモを行いながら音声なしでビデオを撮影して「マウント」することもできました。 これが判明しました：





ここでは、ぼかしを使用した実装がまだあり、それはカメラに近すぎます。



他の参加者のYouTubeおよびビデオアプリケーションに表示されるようになりました。 たとえば、私の意見では、クールなアイデア/デモ：

ファイナリスト

アプリケーションの選択の結果は、7月12日にのみ知られるようになりました。 つまり、出願から12日後です。 ファイナリストはカメラを送ることになっていた。 ハッカソンの結果によると、すでに1台のカメラがありましたが、まだ別のカメラが必要でした。2台のカメラと1台のカメラがありました。 さらに、カメラのキャリブレーションのばらつきを評価する必要があるため、カメラの2番目のインスタンスが重要でした。 実際には、カメラに問題がありました。rgbに深度を表示した後、結果がシフトしました（写真を参照してください-緑のドット、これは手に対応する深度データです）。 そして、それは明らかではありませんでした-これはすべてのカメラの場合ですか、それとも誰もが異なるものを持っていますか？ 私たちのタスクにとって、これは重要でしたが、他の多くの場合はそうではありませんでした。



カメラを待っている間に、さらに2つの問題を解決しました。



まず、必要に応じて画像をぼかすことができるだけでなく、不要な部分をぼかすことも必要ではなく、何らかの方法でこのビデオストリームをアプリケーション（Skypeなど）に配信する必要もありました。 つまり、カメラのふりをしなければなりませんでした。 実験の後、DirectShowソースフィルターの作成に集中することにしました。 残念ながら、MicrosoftはMetroアプリケーションでDirectShowアクセスを見つけました。現在MediaFoundationがありますが、Media Foundationでは他のアプリケーションのカメラのふりをすることはできません。 Metroをサポートするには、より複雑な本格的なドライバーを作成する必要があります。 そのため、コンテストのプログラムのバージョンでMetroのサポートを拒否することにしました-締め切りまでにアプリケーションを思い浮かべることができます。



第二に、プログラマではないが、その逆の人を探していました。 つまり、デザイナーではなく、プログラマーではなく人間で理解できる人です。 アイコンが必要だったので、最小限でありながらすっきりしたインターフェイスが必要で、ビデオなどを撮影する必要がありました。 ああ、はい、あなたはまだこのビデオを発声するために正気の英語を話す必要がありました。 そして、10日間の捜索の後、そのような男が見つかりました！



したがって、今では私たちのチームは3人に成長しています。

• NadiaはGUIプログラマーであり、シャープの鑑識家であり、一般に賢い美しさです。
• レッヒは私たちの友人であり、クリエイティブなインスピレーションです。彼はUIデザインを手伝い、写真やアイコンを描き、ビデオを撮影、編集しました。すべての英語ビデオで彼の声が聞こえます。
• あなたの謙虚な召使、 弁証法 -アルゴリズムとすべてのシステム、デザインとイデオロギー

同時に、待望のカメラが到着しました。

開発

Photoshopを保持する終わりを知っている人をようやく手に入れた喜びに、私たちはアプリケーションのアイコンのオプションを考え出しました（プログラムで最も重要なことは、ええ、特に期限まであと1か月が残っているときですが、これは私には準備ができていませんが）今では何も準備ができていないことは明らかですが、それですべてがほぼ準備できているように見えました！）。 おそらく10個がテストされ、約1週間が費やされました。 そして、システムトレイに配置します（システムトレイで仮想カメラを使用する場合、ジェスチャーを使用したくない場合は、そこから何かをすばやく設定できるアプリケーションがあります）。まったく見ていません。 そのため、もう一度やり直さなければなりませんでした。



その後、プログラムのインターフェースを考え始めました。 基本的にインターフェースのユーザーには表示されないことは明らかです-彼はSkypeやそこのGoogleハングアウトで動作し、主にジェスチャーでVirtualens設定を構成しますが、時には...たとえば、初めて、設定ダイアログに入り、オンとオフを切り替えることができますジェスチャでは、ぼかしたい距離とぼかしの強さを調整します（ただし、これらの2つのパラメータは、ジェスチャで構成する方が便利です）。 設定に加えて、このダイアログは学習の役割を果たすことも想定されていました-どのジェスチャが機能するか、どのように実行するかを促すためです。 ジェスチャは単純ですが、人々はまだ慣れていないため、少なくとも初めて、誰かがどのようにそれを正しく行っているかを見ることができればうれしいです。



また、ぼかし力とは何か、距離との違いを示す方法についてのアイデアもありました。 GUIコンポーネントが発明され、このために実装されました。これは、同時に、カメラからの距離に対する畳み込みカーネルのサイズ（ぼかしの強さ）の依存性と、この組み合わせで画像がどの程度正確にぼやけるかの例を示しています。 しかし、何人かの人々がこのコンポーネントが示すものを完全に異なって解釈した後、それを放棄することに決めました。 あまりにも...うーん...数学的に判明しました。



その結果、GUIを可能な限り単純化して、できるだけネイティブに見えるようにすることが決定されました（WinFormsはGUIに使用され、デフォルトではネイティブに見えないため、少し調整する必要がありました）。 また、トラックパッドの設定ダイアログから、アップルからアイデアを借用するようにユーザーに教えるために、対応するアイテムにカーソルを合わせたときのジェスチャーのビデオデモを再生します。









しかし、私たちに何が起こったのか：









「再生」ボタンが追加された理由は、タッチスクリーンを使用する人向けです。この場合、ユーザーはマウスでクロールせず、ビデオを再生するためにそこを突くことができるとは思わないからです。 また、デフォルトでは、このビデオウィンドウにはカメラからのプレビューが表示されます（必要に応じて、必要に応じて既にぼやけています）。

カメラキャリブレーション

到着したカメラは私たちを悲しくさせました。 彼女には変位がありませんでした（またはほとんどありませんでした）。 これは、彼女がとてもラッキーだったか、新しいカメラですべてがうまくいったことを意味していましたが、いずれの場合でも、ユーザー（ジャッジ）が何を持っているかわからないことを意味していました。 キャリブレーションについて考える必要がありました。 そして、どうやら、可能な限りシンプルで使いやすいものになります。 大変でした。 それは非常に困難であり、プロジェクト全体を埋めると脅しました。 つまり、キャリブレーション自体を行うのではなく、技術から遠く離れた人がキャリブレーションできるようにすることは困難です。



幸いなことに、8月9日に「Q＆A Perceptual Computing Challenge」が行われました。 はい、ロシア語で。 Intelのロシア人開発者（英語のウェビナーがまだある前は、それはかなり役に立たなかったようです）。 このセッションでは、キャリブレーションと問題について質問しました。 そして彼らは、はい、問題はわかっている、この古いカメラの不十分に固定されたマトリックスは輸送中に動くことができ、すぐに較正用のツールをリリースすると答えました。 つまり、彼らは自分自身でこの問題を取り上げます。 ふう！ 吐き出した。 インテルに感謝

ビデオを撮影する

締め切りが迫っていたので、プロジェクトと私たちについてのビデオを撮影する必要がありました。 これを行うために、私たちはカメラを持った男で武装し、スタジオに行きました。スタジオはある晩、私たちの存在を容認することに非常に安価に同意しました。



カメラと話すのがそんなに難しいとは思っていませんでした。 いいえ、インタビュー（カメラを含む）を行いました-そうではありません。 これはまったくありません。 明確なストーリーでビデオを録画するには、多くのテイクを行う必要があります。 一緒に行動することは非常に難しいです-一方が話す間、他方はおそらく間違った方向のどこかに見えるでしょう。



しかし、我々は撃った。 そして、彼らはそれを捨てて、別の時間に別の場所で別のフォーマットで、そして完全に独立して再撮影しました。 そしてすでに9月に。

延期

最終大期限の16日前の8月10日、主催者は、すべてが再スケジュールされたと述べました。 9月23日。 実際、彼らは私たちに別の月をくれましたが、今月は私たちにとって非常にうまくいったとは言いません。 少しリラックスしました。 少し休みました。 それから突然寒くなり、少し病気になりました。 例えば、私はメインの仕事とプロジェクトの間で自分自身を引き裂こうとして失敗しました-そして、私はどちらにも十分な力を持っていませんでした。 どちらか一方を完全に獲得することは不可能でした。 その結果、あちこちで、成功はささやかなもの以上でした。 ああ。



しかし、8月の後半と9月の初めに何かが起こった。 基本的に、これらは見回すほどのプログラム的な成果ではなく、世界で一般的に似ているものです。 そして、見るべきものがありました。 たとえば、Googleハングアウトには既にぼかしや背景の置換が組み込まれています。 ニュアンスだけがあります-フレームを離れると、透明な輪郭が残り、そこからすべてが見え、部屋で何が起こっているかが見えます。



そして、さらに悪い競合が発見されました-SkypeのPersonifyを発見しました 。 バックグラウンドを削除し（ブラーしない）、すぐにカメラに適用します。 そして、Intelは誰と友達です。 彼らは私たちが存在することを夢見ているだけです！ skypeのプラグインとして設計されています（これは、私たちのプロジェクトがskypeのプラグインでもあると常に考えていたIntelの人々の会話の中で行われました！しかし、プラグインでそれを行うのは、なんとなく奇妙で、一般に、理論的には、Skypeのプラグイン組織の微妙な知識は、PerC SDKに関与するIntel従業員の能力を超えています。 しかし、このアプリケーションのインストールは奇妙なことを示しました-それは非常にうまく設計されていませんでした。 さらに、そこにバグがありました（これを実現する方法がわかりませんでした）。そのため、プラグインの動作中に（そしてSkypeの開始直後に彼はカメラをつかんでラップトップのプロセッサを70％読み込みました）呼び出しなしで）depthとrgbを同時に使用する他のPerC SDKアプリケーションを使用することは不可能です。



一般的に。 その結果、私たちは動揺していませんでしたが、むしろ反対です-楽観主義のブーストを受けました-私たちは良くなることができます！



しかし、もちろん、主な仕事はいつものように、先週に落ちました（誰が疑うでしょう！）。

先週

突然、締め切りの1週間前になりました。 そして、ビデオを再撮影する必要がありました。異なるアドレス空間で回転しているさまざまなコンポーネントの相互作用を確立する必要がありました、クイック設定ダイアログを作成し、インストーラーを作成し、その他の重要な詳細を作成する必要がありました。 主な機能は動作しますが、ささいなことなしではうまくいきません！ ただし、些細なことはありませんでした。たとえば、GUIで小さなメモリリークは見つかりませんでした...



今週は1日20時間働きました。



私たちはジェスチャーを作り直しました。 最初は、ユーザーがカメラのレンズの前で手をたたいてカメラ設定モードに入ると想定されていました。 これは対話者にとって非常に不快であることが判明しました。 したがって、ジェスチャの組み合わせに切り替えました-ユーザーは最初にジェスチャVを作成する必要があります（たとえば、彼は投稿の最初の写真にいます）、プレビューにVirtualensアイコンが表示され、ジェスチャが認識されたことを確認した後、手を振るだけです。 それは非常に直感的に判明しました-最初にVirtualensに目を向け、名前の最初の文字を指で示し、それから彼に手を振った。 設定から抜ける方法は同じVです。あなただけが手を振る必要はありません。



ユーザーが手でカメラの画像を閉じた場合、カメラの画像をシャットダウンしました。Skypeのビデオ切断ボタンの場所を探す代わりに、レンズを手で閉じて問題を解決してください。



今回は路上でビデオを自分で撮影し、マウントしました。 ひどいバグの雲を見つけてつぶしました（そのようなペースでコーディングして、どれだけ追加しましたか？！）。 ジェスチャーを示すためにビデオを撮影しました。 ナディアは路上での撮影で病気になった-彼女は風邪をひいた。 締め切りの前日、彼女は「とにかく、朝まで眠りませんが、プロジェクトを終了します！」と言いましたが、それでも完了しました-私はその夜突然に出た2つの非常に悪質な問題を決定しました。 そして翌日、彼女は病院に入れられました。



私の妹とインストーラーは私を大いに助けてくれました-彼女は主な仕事をしました、私はちょうどインストーラーでいくつかの詳細を修正しなければなりませんでした。



締め切りの2時間前には、すべてが準備が整っているように見えました（実際、後ですべてではないことが判明しました）。 彼らは最終的なビデオが英語の音声演技でマウントされレンダリングされるのを待っていました。 待っています。 期限まで1時間残ります。 待っています。 残り30分です-私は熱心に独立してビデオに英語のサブを押し付け始めます。 15日の締め切りがなければ、アレクセイに電話して、何があるかを尋ねます。 そして、そこに、彼はそれをレンダリングにかけ、約20分間レンダリングされます...そしてそれは所定の場所にノックアウトされました-彼は眠りに落ちました！ 人々には引張り強さがあります。 しかし、我々はそれをやった。 4分の締め切りがなければ、すべてが送信されました。



時間があります。

まとめ

その結果、インストール後にSkypeを再起動する必要があることを書くために、プロジェクトの説明のreadmeを忘れていました。 YouTubeのビデオの説明に追加されましたが、誰かが気付くという事実ではありません。 今、私は悪夢に苦しんでいます。裁判官のインストーラーが起動され、SkypeのカメラにVirtualensアイテムが表示されず、削除され、次のプロジェクトに進みました。



コンテストの結果がどうなるかはわかりません。 推測すらできません しかし、彼はすでに報われていることを知っています-経験で報われました。 （数日だけではありますが）生産的に仕事ができることを知りませんでした。 この競争は私たちの能力のベンチマークとなりました。 ただし、私たちのプロジェクトはコンペで終了することはありません。 現在、プログラムをテストするためにカメラを複数の人に配布し、SkypeのPersonifyを配布しています。 自分が持っているものと何が間違っているのか、そしてまだ修正が必要なものを理解する必要があります。

プロジェクトビデオ

メインビデオ：



何かをインストールしてからスカイプを再起動する方法についてのビデオは、ここの誰にとっても興味深いものではないと思います。 しかし、ライブを見るための設定ダイアログは面白いと思います：



クライアントにWebカメラオプションボタンがない場合のVirtualensの構成方法：





その他のプロジェクト：一般に、 ここに行って 、1か月以上前のすべてのビデオを見ることができます。これらは、コンテストの最終アプリケーションになります。



また、1人の参加者が既にYouTubeを歩いて、見つかったすべてのプロジェクトをまとめています（約110個が判明しました）： software.intel.com/en-us/forums/topic/474069



さて、私が特に好きなこと：

私はithabrプロジェクトが好きでしたが、彼は彼のビデオへのリンクを配布しないように頼みました。 だから私はしません。



これはロシアから、より正確にはサマラからもです：





しかし、これは魔法です。 文字通り、スペルはゲーム内でPerC SDKを介して作成されます。 あなたは最大限に魔術師のように感じることができます。 抽象的な数字ではなく、あなた自身の器用さと手の滑らかさをポンピングするには：





最後までこのシートを読んでくださった皆さんに感謝します。