Gmail Motionを作成する

数日前、正確な日付は覚えていませんが、Googleは新しいメールツールであるGmail Motionを導入しました。 それについては 、Habréにも書きました。 この美しい機能を使用することにしましたが、残念ながら、Gmailアカウントにこの機能を追加する機会はありませんでした。 私はベータテスターのグループには入らなかったと思います。 これは、もちろんイライラします。 しかし、私たちではありません！ 以下に、 ボトルごとに 1時間で Gmail Motionを作成した方法を説明します。 すぐに結果のビデオ、カットの下で-技術的な詳細。

組立説明書

1. Microsoft Kinectを使用します。

平らな面に置き、電源コンセントとUSBポートに差し込みます。

2. Kinect用の何らかのジェスチャ認識ライブラリを使用します。

FAASTを使用したのは、うまく機能し、他のアプリケーションに異なるメッセージを送信できるため、何もプログラムする必要がないからです。 （しかし、一般に、そのようなライブラリはすでに何十もあり、どれが最良であると言うつもりはありません）。 FAAST（およびそれに必要なライブラリ）のインストール方法については、 こちらをご覧ください 。

3. Gmailのホットキーのリストを見つけます。

彼はそこにいます。 Gmailの設定にホットキーサポートが含まれています 。

4. FAASTの構成ファイルを作成します。

デモビデオに表示されているコマンド「公開レター」、「返信」、「全員に返信」、「送信」に限定しました。 さらに、「Open Inbox」コマンドを実装する必要がありました。このコマンドがなければ、キーボードやマウスを使用せずに他のユーザーの作業を完全にデモンストレーションできる方法がわかりません。 このチームのジェスチャーはビデオには示されていませんが、標準の完全な仕様にはそれが含まれています。これは、体を左に傾けることです。 さらに、「全員に返信」コマンドを、ビデオに示されているバックスイングを両手で、バックスイングを左手で置き換えました。 これには2つの理由があります。

• Googleは標準の人間工学に十分な取り組みを行っていないと考えています。 「全員に返信」はかなり一般的なタスクであり、左手で（このフレーズの両方の意味で）実行できる場合は、両手でアクションを掛けることはありません。 そして、これは片腕の権利の侵害を言うまでもない。
• 標準バージョンでは、FAASTライブラリでは、複数の手で複雑なアクションをキャッチすることはできません。 もちろん、FAASTのジェスチャを解釈するために別のライブラリを使用したり、中間層を追加したりできますが、少なくとも何かをできるだけ早く機能させたいと思いました。

構成ファイル：



# -

lean_left 20 key_press u



#

right_arm_out 7 key_press o



#

right_arm_up 8 key_press r



#

left_arm_up 7 key_press a



#

right_foot_up 9 key_press tab

right_foot_up 10 key_press enter

5. FAASTを実行し、構成を開き、エミュレーターを開始します。

出来上がり！ すべてが機能します。 Gmailはビデオの左側で開いており、FAASTによって認識されたスケルトンは右上にあり、下はカメラからの写真であり、さらに下はブラウザウィンドウに転送されるキーです。 必要に応じて、他のアクションのサポートを追加できます。

結論

Kinectを使用すると、Googleが提案する多くの（すべてではないにしても）人間のジェスチャーに対するGmailインターフェースの応答を実装できます。 もちろん、問題を真剣に考えた場合、プログラミングを開始し、誤検知の問題を解決し、ジェスチャ認識ライブラリを変更し、複雑なアクションの理解を身体の複数の部分に同時に追加する必要があります。 しかし、今ではそれが可能であると確信しています。 もちろん、Googleの成果を軽視することはできません。その機能はKinectではなく通常のカメラで機能するためです。 また、実験は非科学的な目的のためにのみ設定されました。



PS Gmail MotionはGoogleの野生の冗談であるという事実にもかかわらず、この記事で説明するものはすべて存在し、説明どおりに機能します。 ビデオも本物です。