非接触インターフェースを設計するための新しいアプローチ

これは、元の記事「タッチフリーインタラクションの新しいデザインプラクティス 」の翻訳です。





タッチインターフェイスは、開発された市場をほぼ捕捉し、ユーザーの期待の変化と、ヒューマンマシンインタラクション（Human-Computer Interaction、HCI）に関するUX専門家の見解に変化をもたらしました。 現在、タッチインターフェイスに続いて、非接触ジェスチャと自然言語対話（NLI）の技術が業界に浸透し始めています。 これらの技術の急増は、UX業界の変化を約束します。これは、私たちが従う経験則から始まり、 設計パターンと最終結果で終わります 。

ヒューマンマシンインターフェイス：変更を待っています

タッチインターフェイスのおかげで、コンピューティングデバイスとのユーザーインタラクションがより自然で直感的になりました。 センサー技術の普及により、新しい相互作用の概念が現れ始めています。 マイクロソフトとアップルのそれぞれの努力により、非接触ジェスチャーと自然言語（NLI）のインターフェイスが翼を待ち、ついに業界に徐々に浸透し始めました。 これらの技術が定着した場合、それらのおかげで、自然なユーザーインターフェイス（NUI）を作成するための次のステップを踏み出すことができます。

非接触ジェスチャーインターフェイス

この相互作用モデルは、Xboxゲームプラットフォーム用にMicrosoftが作成したKinectセンサーのおかげで人気を博しています。 これらのデバイスは 、 WindowsコンピューターおよびSamsung Smart TVデバイス での使用に適合しました 。 このように、非接触ジェスチャーインターフェースは、コンピューターゲームから日常生活に直接移行しました。



Kinect for Windowsには、 Near Modeと呼ばれる興味深い機能が含まれています 。 近距離モードでは、ユーザーは非接触ブリキを使用して、PCの後ろに座って作業することができます。 非接触ジェスチャーインタラクションの技術により、画面に表示されるオブジェクトを実際の物理オブジェクトとほとんど同じように扱うことができるため、生産的なアプリケーションのインターフェイス要素の数を減らすことができます。 また、この技術を使用すると、キッチンや手術室など、何らかの理由でコンピューターに触れることが望ましくない状況でコンピューターを使用できます。

自然言語の相互作用

コンピューターに直接アクセスするという考え方は新しいものではありませんが、このテクノロジーを業界の最前線にもたらしたのは、iPhone用のSiriアプリケーションの成功でした。 自然言語の相互作用の主な利点は、このテクノロジーが幼児期のすべての人が学習した、あなたとのコミュニケーション方法を模倣することです。



洗練された自然言語インターフェイスは、人間とコンピューターの相互作用に自然さを追加するだけでなく、音声対話中にユーザーがコンピューターを人間化し、社会の一員として認識するようにします。 これにより、デザイナーやコンテンツ作成者は、ユーザーとの真に深い関係を構築するための大きな機会を得ることができます。

人間と機械の相互作用の原理

技術の発展により、相互作用プロセスを改善する機会はますます増えていますが、人間の能力は無制限ではないことを忘れないでください。これはそのようなプロセスにも当てはまります。 相互作用の新しいモデルに向かって歩きながら、ナレッジシステムを同時に作成しています。これにより、UXスペシャリストはこれらのモデルを使用できるようになります。 人間と機械の相互作用の原理は、理論的な基礎です。



Bill Verplankによって開発されたヒューマンマシンインタラクションのモデルによれば、システムとのユーザーインタラクションは、ヒューマンファクターの3つのコンポーネントで構成されます。

• 情報認識効率：システム信号を正しく認識しますか？
• 情報処理の原則：これらの信号を正しく理解して処理しますか？
• 情報転送効率：結果をシステムに正しく入力するかどうか。

設計プロセスにおけるユーザーエクスペリエンスのこれら3つの要素に注意を払うことで、システム全体を改善できます。 リストされたヒューマンファクターは、新しいヒューリスティックおよびインターフェイスデザインパターンを予測および評価するための理論的基礎として役立ちます。

ヒューリスティック

すでによく知られている有名なヒューリスティックをキャンセルする人はいません 。 ただし、非接触ジェスチャーと自然言語対話技術のより効率的な使用のために、リストを拡大する価値があります。 以下に、このようなヒューリスティックの例をいくつか示します。

1. 不正確なジェスチャと誤った動きの認識（情報転送効率） -画面の表面上でさえ、人間の手は極端な精度でジェスチャを再現することはできません。宇宙でのジェスチャについて言えます。 ジェスチャの高い精度を期待しないでください。そうしないと、ユーザーに多くのエラーが発生します。 合理的な精度の制限を設定する必要があり、軽微なエラーは許されます。
2. システムの「個人の資質」は、その機能（情報処理効率）に対応する必要があります-無生物と通信すると、人々は自動的に特定の個人の資質に帰します。 このオブジェクトから受け取った回答は、この「パーソナリティ」のより正確なポートレートを形成するのに役立ちます。 同意します。ExcelやNumbersなどの生産性の高いアプリケーションが友好的な方法で私たちと通信する場合、それらを使用する方がはるかに快適です。 運転手は、自信を持って厳しい声があれば、カーナビゲーションシステムをさらに信頼するでしょう。 また、たとえば、Siriのおかげで、ユーザーは日常の計画などの日常的なタスクを解決できるようになりました。これは、Apple開発者がユーモアのセンスをプログラムしたためです。
3. これが目標（情報転送の効率）である場合を除き 、ジェスチャの繰り返しを繰り返したり、長時間ジェスチャーを繰り返したり、長時間のアクティビティを使い切ったりする必要はありません 。 筋肉の緊張が増加し、精度が低下します-結果として、これらすべてが作業効率に最高の影響を与えることはありません。 もちろん、目標がユーザーに運動をさせることである場合、このヒューリスティックは適用できません。
4. ジェスチャーと音声コマンドは、ユーザーがそれらに頼る状況のコンテキストで適切である必要があります（情報の認識と送信の効率） -ジェスチャーと音声コマンドは側面から完全に表示され、聞こえます。ユーザーは同時にそれらを使用することはありません。ばかげて見えるでしょう。 たとえば、アプリケーションがオフィスでの使用を意図している場合、動きを一掃し、奇妙なコマンドを叫ぶことはまったく不適切です。 一方、子供向けのゲームのコンテキストでは、面白いジェスチャーやコマンドが役立ちます。
5. Josh ClarkとDan Safferの研究によれば、アクションへの招待は理解可能であり、相互作用自体が論理的で一貫している必要があります（情報処理効率） 、グラフィックやタッチ要素を使用するよりもジェスチャ制御の方が効果的ですインターフェースですが、同時にそのような管理のテクニックはユーザーにはあまり明白ではありません。 音声制御についても同じことが言えます。 インターフェイスでジェスチャと音声コマンドを使用すると、ヒューマンマシンインタラクションが新しいレベルになります。ここでは、アクションへの招待の明確さと操作のシーケンスがこれまで以上に重要になります。

パターン

タッチインターフェイスが広く普及しているため、これらのジェスチャライブラリは、タッチ操作方法に取り組んでいるデザイナーを支援するために登場しました。 フラットスクリーンの2次元に限定されない非接触ジェスチャインターフェイスにより、設計者は深さと体の動きの3次元を効果的に使用できます。



この音声制御に追加すると、ほぼ無限の可能性が得られます。たとえば、ユーザーはシステムの1つの要素をジェスチャーで、もう1つを音声コマンドで同時に制御できます。

近接モードで作業するためのジェスチャー（直接データ入力）

当初、Kinectセンサーは全身で行われた動きを認識していましたが、新しいバージョンでは近距離モードモードの存在により、その機能が大幅に拡張されました。 Think Motoジェスチャライブラリのイラストを使用して、PCに座っているときに使用できるジェスチャの例を次に示します。

1. シフト、ストレッチ、スクイーズ：これらは非接触制御の基本的なジェスチャーであり、タッチインターフェースを操作するためのジェスチャーに似ています。
   
   
2. プッシュプル：これらのジェスチャーを使用して、画面をズームインまたはズームアウトできます。
   
   
3. キャプチャとリリース：ジェスチャインターフェイスは、上記の圧縮とストレッチのジェスチャを使用して要素をスケーリングするため、ピンチジェスチャを使用して画面上のオブジェクトをキャプチャできます。 このようなオブジェクトを「掴む」ことにより、ユーザーは二次的なジェスチャーでそれを制御できます。
4. ターン：二次ジェスチャーの例として、 ターンを取ることができます。 非接触ジェスチャーインターフェイスでは、通常の2次元に3番目の要素が追加されるため、「キャプチャされた」オブジェクトを回転させて、形状や位置を変更できます（たとえば、マップの回転やキューブの回転）。
   
   
5. 投げる：別の二次的なジェスチャー-ユーザーは、画面上にオブジェクトを「投げる」ことにより、オブジェクトをすばやく移動できます。 このジェスチャは、オブジェクトの削除または3D空間での移動に関連付けることができます。
   
   

本文読み取り（間接データ入力）

Kinect PCセンサーは、新しいジェスチャーコントロールに加えて、疲労や気分を示す他のユーザージェスチャーを読み取ることができます。 たとえば、アクティブなジェスチャ（たとえば、より大きくて鋭いジェスチャ）は、システムによってユーザーが興奮している兆候と見なされ、それに応じてシステムがその動作を調整します。 生産的なアプリケーションを使用しているユーザーの場合、この動作は不満感によって引き起こされる可能性があり、システムはユーザーの落ち着きを支援しようとする場合があります。



もう1つの指標は、ジェスチャーの精度です。 怠zyで不正確なユーザージェスチャは疲労の兆候と見なすことができ、この場合、システムは仕事から休憩するように求めるメッセージを発行する場合があります。 さらに、ユーザーがPCに座っているか、完全な高さで立っているかに応じて（間接標識に完全に起因することはできませんが）、さまざまな機能セットを使用できます。

音声制御

自然言語は複雑であるため、NLIのパターンを作成することは、ジェスチャーインターフェイスを使用するよりも困難です。 それにもかかわらず、自然言語に固有のいくつかの構造は、そのようなパターンを作成するための基礎として使用できます。



まず、ユーザーは主に2つの方法でデータの音声入力を実行できます。質問（およびシステムからの回答の受信）とコマンドの発行（システムが操作を実行する）。 さらに、個々の文をフレーズに分割することができ、各フレーズは独立した意味単位です。 Fang ChenとKristiina Jokinenが編集したSpeech Technologyなど、言語学とコミュニケーションの分野の自然言語インターフェイスの開発者が学べることに関する多くの出版物があります。

結果

相互作用の革新的なモデルを導入するとき、おそらく最も難しい段階は、まだ革新に慣れる時間がなかった利害関係者と通信することです。 存在しないものを視覚化するのはかなり難しいので、UXデザイナーは必要な情報を伝える方法について慎重に考える必要があります。

仕様書

相互作用の設計仕様は、2次元に基づいており、十分なものです。 ただし、一部の非接触ジェスチャでは、3Dでより効率的にレンダリングされる「画面までの距離」や「Z軸に沿った移動」などの変数が必要になる場合があります。



音声対話はさらに複雑です。 システムとの対話が文字通り対話になるため、設計者はユーザーのイントネーション、アクセント、または同じチームの単語の選択など、多くの追加要因を考慮する必要があります。 自然言語インターフェースでは、このようなバリエーションを最大限に考慮する必要があります。



さらに、システムがユーザーに与える応答を決定する多くの変数があります。 イントネーション、単語選択、変調、音色-これらすべておよび他の多くの要因は、ユーザーがシステムを認識する方法に影響します。

人

音声機能のおかげで、コンピューターはユーザーの社会の一員となり、ユーザーが知覚する「個性」はデザインの非常に重要な側面です。 幸いなことに、この問題を解決するために車輪を再発明する必要はありません。



UXの専門家は、長い間ユーザー画像を使用してそれらを分類してきました。 このアプローチは、音声に恵まれたコンピューターに適用して、システムによってモデル化された性格のタイプを判別することもできます。 このような画像の作成は、音声インターフェイスの作成に携わる専門家（スクリプトを作成するコピーライター、テキストを音声に変換するための開発者のコ​​ーディング、声優）の作業を促進します。



システムは、ユーザーの発話の変化（興奮、刺激、または不安）の認識をセットアップすることにより、共感するようにプログラムできます。 ユーザーが何かに落ち込んでいる場合、これを認識するシステムは、信頼できる威厳のあるイメージ（信頼性と自信を刺激する）から、思いやりのある親のイメージ（ユーザーを安心させる）に切り替えることができます。

プロトタイピング

身体認識技術とユーザーの音声パターンを効果的に実装するには、1つの詳細を見逃さないようにし、関係者間で情報を明確に交換する必要があります。 プロトタイプは仕様と同じ理由でさらに広まりつつあります。100回聞くよりも1回見る方が良いです。 これは、アプリケーションのテストと開発にも適用されます。



現時点では、Kinectの非接触ジェスチャーインタラクションをすばやくシミュレートできるようなソフトウェアはありません。 あとは、SDKをダウンロードして独自のアプリケーションを作成するだけです。 ただし、音声インターフェイスの場合、 CSLU Toolkitなどの無料のツールがいくつかあります。これにより、開発者はモデリングおよびテスト用の音声インターフェイスをすばやく構築できます。



一般に、プロトタイピングツールが十分に速く、柔軟で、効率的になるまで、私たちはルーツに固執し、実績のあるツール（ 紙 、デモ、 ストーリーボード、 Ozのウィザード）を使用する運命にあります。

ホイールを回す

電子ランプやパンチカードの時代から、コンピューターのユーザーインターフェイスには多くの変更が加えられ、それぞれに新しい機能と新しいタスクが登場しました。 非接触ジェスチャと自然言語インターフェイスのおかげで、人間とコンピューターのコミュニケーションがはるかに効率的になり、人間になります。 UXスペシャリストが彼らの前に開かれた機会をフルに活用しようとするなら、彼らは同じ方向で従う必要があります。



この新しい人間とコンピューターの相互作用のパラダイムを受け入れる準備ができていると思います。これにより、これまでにないほどユーザーに近づくことができます。



投稿者： ブライアン・パガン



ご注意 transl .:この記事は、このようなインターフェイスの興味深い概念を示した、 マイノリティレポートムービーのリリースから10周年を迎えた今でも興味深いものです。