会話の方法：ハッカソンのプロトタイプからYandexアプリケーションまで

最近、Yandexは、聴覚障害者や難聴者のコミュニケーションを支援する実験的な会話アプリケーションをリリースしました。 ろう者の国際週間は過ぎ去りました。私たちは、これが私たちのアプリケーション、なぜそれをやったのか、Yandexが私たちのアイデアをサポートしたことについて話し合う非常に良い理由だと決めました。 また、ハッカソンのプロトタイプを作成するプロセスが、本格的な製品のリリースとどのように異なるかについても説明します。







昨秋、私が研究したモスクワ物理学技術研究所で、Yandexのベース部門で、 「新しいインターネット製品の作成」コースを教えられました。 彼は一種のスタートアップワークショップと考えられていましたが、その枠組みでは、Yandexテクノロジーを使用して既存の問題をうまく解決する何かを考え出す必要がありました。 私のクラスメートの何人かと私は、通常の音声コミュニケーションから切り離された人々と他の聴覚世界とのコミュニケーションは、そのような基準に適合する仕事だと思いました。 世界保健機関によると、世界の住民の10％が聴覚障害を抱えており、その1.5〜2％が重度の障害に苦しんでいます。 ロシアには220万人がいますが、これらの人々が日常生活で役立つ何かをすることは素晴らしいことです。



その過程で、コンピュータービジョンを使用して手話を認識するというアイデアを思いつきました。 しかし、4年生のグループにとってこれがいかに難しいかすぐにわかりました。 そして、彼らは音声認識とSpeechKitを思い出しました 。 そのため、アイデアの実装は変更されましたが、本質は保存されています。 対話者の音声を認識して画面に表示し、ユーザーに回答を入力する機会を与えるモバイルアプリケーションを作成することにしました。



さらに、聴覚障害者や難聴者がhに大きな問題を抱えていると考えたため、次の機能を思い付きました：ユーザーの名前やその他の治療など、ユーザーが詰まることや、近くで発音されると電話が振動することです。



アイデアを決めた後、私たちはろう者の世界について事実上何も知らないことに気付きました。 プロトタイプを作成する前に、対象領域に飛び込んで、難聴を持つ人々が問題に対するソフトウェアソリューションを必要とする度合いと、このソリューションがどのように見えるかを理解する必要がありました。 これを行うために、私たちはいくつかの手話通訳者とろう者と話をし、詳細なインタビューを行い、ろう者の精神と生活がどのように調整されているかを見つけました。 ろう者の世界に没頭するために、あなたとチャットする準備ができている人を見つけるのは難しくないことがわかりました。



少し研究した後、私たちは製品のビジョンを形成し、それを作り始めました。 教師は私たちのためにYandexでハッカソンを組織しました。そこでは、ピザ、レッドブル、オットマン、夜間連続ノンストップコーディングなど、すべてが規範に従ったものでした。 ハッカソンの前に、SpeechKitのメンバーが私たちのところに来て、APIについて簡単な説明をしました。 午前7時に、Androidのプロトタイプを部門の教師であるSonya TerpugovaとDenis Popovtsevに見せました。 私のクラスメートはヘッドフォンをつけ、それらを最大限にひねり、話そうとしました。 この時点で、明確になりました。私たちは何かをしたようです。 （プロトタイプに携わったすべての人、アントニーナ・パルシナ、アンドレイ・オシポフ、ニキータ・キレエフ、アレクサンダー・クズミンに感謝します。）



当然、ターゲットオーディエンスでアプリケーションをテストするという不健康な欲求がありました。 私はすぐに、MSTUから耳の聞こえない難聴の学生グループを見つけました。 学校以外で英語を学んだバウマン。 私たちは彼らのレッスンに来て、アプリケーションについて話すように頼まれました-彼らは喜んで同意しました。 そして、私たちは10人の耳の聞こえない子供たちの前の小さなオフィスに立ち、私たちのプロトタイプについて話します。 音声認識は理想とはほど遠いものでした。周囲は非常に騒がしく、多くの人がいました。 しかし、これを念頭に置いても、ダイアログは引き続き開催されたため、フィードバックは熱狂的でした。 2人はお互いに競い合って、開発のアイデアを投げかけ、欠点に気付き、iOSバージョンを要求しました。 次に、プロジェクトには開発が必要であることがわかりました。

Yandexでのプロジェクトの継続

その後、冬のセッションが始まりました。 テストと試験に合格する必要があり、学生はプロジェクトに応じていませんでした。 しかし、学部の先生であるソーニャ・テルプゴワは、無駄な時間を無駄にしませんでした。 彼女はYandexでプロトタイプを見せ、彼が受け取ったフィードバックの種類について話しました。 そのため、プロジェクトは引き続きYandex内で開発を続けました。



2月に、聴覚障害者のためのアプリケーションマネージャーの役​​割についてインタビューを受けました。 もちろん、私はとてもうれしかったです。すでに社内でプロジェクトに取り組み続ける機会は非常に魅力的でした。 インタビュー、数週間の待機-私はすでにYandexでPM'omとして働いています。 私たちがアプリケーションを思いついたすべての人は、プロジェクトが開発されたことを喜んでいた。



5月にプロジェクトの作業を開始し、最初の1か月を対象分野へのより深い没入に専念しました。 聴覚障害者や聴覚障害者が利用できるモバイルアプリケーション、デバイス、サービスを分析する必要がありました。 最近、ITの分野では、障害のある人への関心が高まっているように思えたため、多くのプロジェクトが見つかりました。



私たちが見つけた既存のソリューションはすべて、対談者のスピーチを認識し反映しています。 しかし、原則として、彼らは非常に良いインターフェースを持っていません。 このようなアプリケーションの明確さと多様性は、技術的な問題の解決をすでに試みていることを示唆していますが、この方向への体系的なアプローチと推進力はありません。



まだ発表されているアプリケーションがあります。 これらは、このプロジェクトのみに取り組む大規模なチームを持つ本格的なスタートアップです。 クラウドファンディングプラットフォームを使用して資金を受け取り、必要な額を十分に迅速に獲得しています。 これは、聴覚障害者のためのアシスタントを作成する必要性を確認します。人々が自分の問題を解決することは重要であり、彼らはそれを喜んで支払いさえします。



この分析の結果によると、問題は本当に病気であり、多くの人がすでに気づいていることが最終的に明らかになりました。 私たちは、音声認識技術に基づいて、聴覚障害者のための最も高品質で手頃な価格のソリューションを作成するという目標を設定しました。

聴覚障害者や難聴者との仕事と研究

将来のユーザーと定期的にコミュニケーションを取り、彼らの生活や問題に没頭するために、 VKontakte グループを作成しました 。 プロジェクトを追求して、彼らはどこでもろうに気づき始めました-地下鉄や電車、Auchanの興行所で-そして特にそのような状況のために、私たちはVKの私たちのグループへの招待状でカードを用意しました。 そのような会議のたびに、彼らは無意識のうちに新しい参加者のリストを見ました-私は、私たちの直接の招待でグループに入った人々のなじみのある顔を見たいと本当に思いました。



すぐに、私たちは、私たちの要求に応じて、面接に来て、ユーザビリティテストに来て、質問に答える準備ができているイニシアチブグループを募集しました。 さらに、彼ら自身が私たちにアドバイスを与え、重要な連絡先を捨てました-一般に、彼らはプロジェクトを作成するあらゆる方法で助けました。 聴覚障害者雇用促進協会のエフゲニア・フスヌディノバとモスクワ州立工科大学の研究所長であるデニス・クレショフに特別な感謝を申し上げます。 バウマン -ロシアの大学の中で難聴を持つ人々と仕事をするための最大のセンター。 彼らは貴重な情報を提供し、多くの聴覚障害者や難聴者を紹介しました。



私たちは人々をオフィスに招待し、詳細なインタビューを行い、プロトタイプを見せました。 私たちは電話で私たちと会話をするように頼み、私たちとユーザーにとって何が便利か不便かを見ました。 実際の条件で会話を使用し始めたとき、初期インターフェイスに多くのエラーが見られました。



この間、多くの重要なことを学びました。 たとえば、難聴には4つの程度があります。 原則として、最初の2度は老年期に出現し、私たちのいずれかである可能性がありますが、これは常に理解できるとは限りません。 難聴の人々のコミュニティでは、完全に耳が聞こえない（グレード4）と難聴（グレード3〜4）の2つのカテゴリがあります。







部分的に耳を傾ける人は主に唇を読み、完全に耳が聞こえない人はジェスチャーで説明されます。 大多数は手話を知らないので、聴力のない人は主に彼らの小さいが非常に友好的な会社の中でコミュニケーションを取ります。 公共サービスや医療の分野の人々とのコミュニケーションは、強制的で不快な手段です。 難聴の程度が大きければ大きいほど、人の社会化の程度は低くなり、彼が受け取る情報は少なくなります。 しかし、聴覚障害者のコミュニティ内では、非常に急速に広がります。



これらすべての人々を助けたかったのです。 彼らには共通の問題があります-複雑な用語、名前、住所の理解。 しかし同時に、部分的に聞こえる人々にとって最も緊急の問題は電話での会話と会議であり、聴覚障害者にとっては、少なくとも何らかの形で対話者を理解し理解することが最も重要です。



約15〜20回のインタビューの後、多くの問題とユースケースが繰り返されていることに気付きました。これは、私たちが苦痛を感じた合図でした。 この研究から予想外の多くの発見がありました：

• 街中や公共の場所でのナビゲーションの問題はそれほど深刻ではありません。
• 聴覚障害者の名前の認識（ハッカソンのプロトタイプの一部として実装された仮説）も関係ありません-子供の頃の人々は非常に頻繁に名前を聞くので、彼らはそれらを区別できます。 同じ理由で、一部の聴覚障害者は母親のスピーチを少し理解しています。
• ほとんどすべてのインタビュー対象者は補聴器を着用しています。 たとえスピーチを理解する助けにならなくても、彼らは安全に役立ちます。
• 聴覚障害者と聴覚障害者との間のコミュニケーションの間、最初の障害者は主に苦しんでいます！ 聴覚障害者はすでにそのようなコミュニケーションに慣れていますが、聞く人はそうではありません。 残念ながら、彼らは悲鳴を上げたり、怒ったりします。

受け取ったすべての情報を処理した後、実装について考え始めました。

アイデアの形成。 スピーチキット

アプリケーションの基本的な機能は同じままです-対話者の音声を認識し、画面にテキストを表示します。 聴覚障害のある人は、テキストを入力し、音声合成を使用するか、フレーズを全画面表示にすることで答えを伝えることができます。







対話を行いやすくするために、アプリケーションはフレーズを用意しました。 ユーザーは、必要に応じて独自のブランクを追加できます。







通信の全履歴が電話に保存され、ダイアログを継続できます。これは、頻繁に対話する人に便利です。 また、フレーズを選択する機能も追加しました。重要なメッセージやダイアログをメモして、必要に応じて見つけやすくすることができます。



音声認識のために、私たちは非常に誇りに思っている独自の技術を使用しています。 SpeechKitは、アプリケーションでの必要に応じて、音声を適切に認識し、音声を合成できます。 私たちのケースでは、Notesの言語モデルを使用することを決定しました-短いテキスト、SMS、およびメモの自由なディクテーションのために、これは自然発話に最も近いものです。



SpeechKit開発者は、82％の音声認識品質を達成しました。 中間結果のストリーム認識モードは非常に便利であることがわかりました（人が話し始めるとすぐに、彼のスピーチはすぐに小さな部分で認識サービスに転送されます）。 重要なことは、完全にサードパーティの開発者としてSpeechKitオープンAPIを使用したことです。 私たちはサイトからそれをダウンロードし、公式文書を読みました-それは追加の助けを必要としませんでした。 ハッカソン内でプロトタイプを作成した経験から、SpeechKitを使用したモバイルアプリケーションの作成は非常にシンプルで効果的であることが示唆されました。



プラットフォームを選択する際に、Androidに焦点を合わせることにしました。これは、統計によると、難聴を持つほとんどの人がこの特定のOSを使用しているためです。 興味深い事実：聴覚障害者はほとんどオタクです-彼らは非常に積極的にスマートフォンとモバイルインターネットを使用しています。 彼らの多くは、電話を介したインターネットへの無制限のアクセスなしに人生を想像することはできません。 SpeechKitはこれまでのところ、インターネット接続でのみ機能するため、これに賭けています。



製品の技術仕様を作成した後、開発を開始しました。

アプリケーション開発

UXの作業は次のように行われました。 最初に、アプリケーションで使用するユースケースを書きました。 たとえば、路上での予期しない会話や、医者と話すのが不十分なろう者の会話。 その後、彼らはそれを言葉で説明しようとしましたが、管理の方法で非常に概略的に画面のモックアップを描き始めました。 このようなクリック可能なプロトタイプを使用すると、詳細を考えるのが簡単になりました。



インターフェイスのアイデアとして、既存のアプリケーションから例を投げました。 たとえば、スタート画面の場合、Shazamはインスピレーションを受けましたが、すべてがやり直されました。 シンプルなプロトタイプとインターフェイスのアイデアを使って、UXの専門家に相談し、画面のロジックを既に考えました。 作業の結果、すべてのボタンとパーツを備えたクリック可能なプロトタイプができました。 さらに、UIデザイナーは作業を開始し、スケッチプロトタイプに美しさとアニメーションを追加しました。







現在、このアプリケーションは1対1のコミュニケーションの問題のみを解決でき、聴覚を完全に失った人々に役立ちます。 ユーザーは、会話が可能な限り効率的に機能する条件を考慮する必要があります。



•対話は、低ノイズ環境で実施する必要があります。

•認識は1人のスピーカーでのみ機能します。

•ゆっくりと読みやすく話す。

•シンプルな文のデザインを使用します。



私たちは技術に大きく依存しているため、将来に焦点を当てています。技術はまだ発展しておらず、アプリケーションの品質は向上します。 個人的なコミュニケーションの改善に加えて、次のリリースのための多くのアイデアがあります-それらを実装しようとします。 最初のリリース後、私たちはまだ多くのタスクを抱えており、その解決策は近い将来ユーザーを満足させることを計画しています。 明日、アプリケーションが更新され、その認識が向上します。



VKontakteグループで引き続き議論を行い、関心のある項目の投票を手配し、質問に答えることを忘れないでください。 一部の参加者は非常に積極的です-彼らはプロジェクトの進行状況を注意深く監視します。 たとえば、そのうちの1人は、彼自身の主導で、私たちについて手話でビデオを撮影し、彼のYouTubeチャンネルに投稿しました。 その後、アプリケーションの作業名も「Dialogue」になりました。







彼は難聴の人々の間で有名なビデオブロガーであることが判明しました-彼のチャンネルでの言及のおかげで、多くの人々が私たちのグループに来ました。



耳の聞こえない人や難聴の人はほとんどがビジュアルであるため、私たちは彼らのためにビデオを撮影することにしました。 繰り返しになりますが、私たちにとっては、すぐにプレイできる3人のユーザーを見つけることはまったく難しくありませんでした。 そのようなサポートを感じることはとても良かったです。 彼女のおかげで、私たちが正しいことをしているという信念が信じられないほど強化されました。







モバイルアプリケーションの主な属性の1つは（もちろん、コンテンツの後）アイコンと名前です。 私たちの場合、彼らはキャッチーで美しいだけでなく、できるだけ有益なものでなければなりませんでした。 難聴の人がこのアプリケーションが自分用であることを理解できるようにすることは非常に重要でした。 アイコンには多くのオプションがありました。メッセンジャーの音波と生地から、さまざまな手話のイメージまで。











その結果、「言う」ジェスチャーに決着しました。 誤解されないように、各オプションは耳が聞こえない人々に見せられ、彼らが見たものを尋ねました。 この場合、ジェスチャーは「OK」記号に似ています。







その名前は本当に壮大なものでした。 私たちの友人、親relative、そしてろう者のイニシアチブグループの人たちのほとんどが、名前を発明するプロセスに関与しているように見えました。 ラテン語の「Surdo」からニュートラルな「Speech」まで、多くのオプションがありました。 その結果、アプリケーションの意味を最も完全に反映しているため、「会話」で停止しました。これは、聴取者と難聴者との間のコミュニケーションのミッシングリンクです。 会話に協力してくれたすべての人に感謝します。 ご質問やご提案がありましたら、deaf-support @ yandex-team.ruまでご連絡いただくか、コメント欄に残してください。