アリスのスキル開発。 音声インターフェースの経験、初心者向けのヒント

ほんの一ヶ月前、私たちはアリスの機能的スキルの拡張機能を作成することに挑戦したかったのです。 Yandex.Dialogサポートチャットでのコミュニケーションの経験から、音声インターフェイスで作業する初心者の機能と共有するものが既にあるという印象を受けました。



この記事では、3週間の子供の新年のスキルSnow Maidenの感想と、対話開発者のチャットでの質問と回答について説明します。







VUIの専門家にとって、メモは新しいものではありませんが、経験豊富な方からの良いアドバイスやコメントを歓迎します。 私は初めて書いています、厳密に判断しないでください。



アリスに注目する理由

なぜこれすべて：声、スキル？

スキルを作成する方法は？

一般的なアプローチとよくある間違い。

現在のプラットフォームの欠陥。

アリスに注目する理由

海外の音声アシスタントがすでに一般的になっている場合、ロボットとの長時間の会話がすでにネットワークに漏れています 。その後、ナビゲーター、アリスと子供たちのしゃべり、スマートホームでオタクを甘やかすレベルでの対話があります。 Siriを使用してメモやリマインダーを入力する友人はほとんどいませんが、私の意見では、これはSiriを使用するための最も便利なオプションの1つです。 来年には、この状況はより良くなる可能性が高いでしょう。なぜなら、基盤はすでに構築されているからです。

• アリスはまだ1歳で、勉強していますが、彼女はすでに多くのことを知っています。
• Yandexステーションを終了-徐々にスマートで機能的になると思います。
• 最初の低コストのアフィリエイトミニスピーカーが12月に発売されました。
• 開発者向けのスキルを開発するためのアリススクール
• Yandex.Dialogsのインフラストラクチャの大幅な改善、特に「ディスカバリスキル」が発表されました。これは、サードパーティの開発者によるスキルの便利な検索とランキングのためのツールです。

これらはすべて、ロシアで音声インターフェースの開発が始まったばかりであるため、これらの技術の研究を開始することを決めたということです。

なぜこれすべて：声、スキル？

多くの人が音声インターフェイスの利点を理解している場合もあると思いますが、それは思い出すのにふさわしくないでしょう：これは時々最も適切なオプションです。 たとえば、車やキッチン、料理、手が忙しい他のアクティビティでは、音声でコマンドを送信する方が便利です。 たとえば、長い間、音声で制御されるロボット看護師が外科手術を支援してきました。



音声は、人々がやり取りするための使い慣れたインターフェイスです。 高齢者と子供は問題なくこの方法を学び、情報を取得してガジェットを管理します。



視覚障害のある人にとって、音声と聴覚は環境との相互作用のさらに重要なチャネルです。 Yandex.Stationのチャットから判断すると、このカテゴリの人々は、生活を楽にするようなデバイスの外観を本当に高く評価しました。



興味深い場合は、ケースのリストを掲載しません。その場合は、専門の文献からすべてを詳しく知ることができます。



スキルは、Aliceの特定のアクティベーションコマンドによって起動される特定のダイアログを実装し、Yandexの音声アシスタントの機能を拡張するプログラムです。

スキルを作成する方法は？

すでに多くの優れたサードパーティスキルがありますが、本当に興味深く有用なスキルを取得して作成できるニッチは他にもたくさんあります。



Habréを含む、それらの作成に関するいくつかの記事があります。 ドキュメントがあります 、簡潔な一般的な推薦があります。 実装の技術的な詳細には深く入りません。なぜなら、 初心者向けの一般的なアプローチを共有したいと思います。



技術的には、スキルはボットと非常に似ていますが、メッセージ自体を送信することはできず、ユーザーのリクエストにのみ応答するという違いがあります。



開始に役立つリソースの短いリストを次に示します。Yandex Dialogsのライブラリとリソース



Yandex Dialogsの使用に関する非公式のFAQ 。



ドキュメントには、関連性が高く、あまりリンクと質問と回答が含まれていません。

上記のチャットYandex Dialogs 。



開発を開始するには、プログラムのコードが配置および実行されるサーバーであるYandexのアカウント、Webサーバー、およびhttpsプロトコルを介して作業を提供できる便利な言語で記述されたアプリケーション自体が必要です 。



ここでは、スキルの実装の詳細については説明しません。コミュニティからのリクエストがある場合は、別の記事でこれに注意を払います。 さらに、そのような材料はすでに存在します。



私は、PHPの簡単なスキルの例だけにコメントを付けて、初心者がすぐに始められるようにすると思います。



リポジトリには、PHPに組み込まれたWebサーバーを実行するシンプルな開発環境を作成し、 serveo.netサービスを使用してインターネットからローカルポートにアクセスできるようにするスクリプトが含まれています。







URLを保存https：//******.serveo.net-これはwebhookのURLになります。 ngrokとは異なり、このURLは時間の経過とともに変化することはありません。ダイアログの設定で変更する必要はありません。 ブラウザにこのURLを入力することにより、Webhookの可用性を確認できます-jsonはエラーを返します。 これは正常であり、必要なパラメーターをスクリプトに渡しませんでした。



次に、 リンクからスキル自体を登録します。







アイテム「アリスのスキル」を選択します







ダイアログのプロンプトとドキュメントに従って、すべてのフィールドに入力します。







webhook urlフィールドに、以前に受信したURLを入力します。



私たちはそれを保存しようとします。与えられた指示に従えば、すべてが最初にうまくいくはずです。



実装に関するこの記事では、ユーザーアクションのログ記録システムに特別な注意を払うことのみをお勧めします。 私はすべてユーザーインタラクションの問題領域です。たとえば、「はい| いいえ、しかし、私は何かを手に入れ、ログに書き込み、すぐに（ウェブフックの速度のための別のプロセスとして）電報チャネルにブロードキャストして、運用の追跡と応答を行います。

一般的なアプローチとよくある間違い。

予想どおり、ここでは従来のWeb開発や電報ボット開発への通常のアプローチは適切ではありません。 主な違いは、回答が頻繁に予測できないことです。 対話プラットフォームを使用すると、質問に対する明確な回答を持つボタンを追加できますが、多くの場合、ユーザーは明確なロジックに従うことに慣れているプログラマーが期待することにはまったく答えません。



例。



別の詩を学びたいですか？

[はい] [いいえ]



その人はイエスかノーと答えることを期待していますが、他の多くのオプションが私たちに来ました：

• はい
• はいはい
• もちろん欲しい
• はい、ママ、私たちは何を食べなければなりませんか？
• 疲れた
• ノボシビルスクの天気はどうですか？

これはすべて、いくつかの理由で起こります。 人はさまざまな肯定的なフレーズを使用できます。「もちろん」、「はい」、「はい」、「来て」などです。 同様に否定的なもの。 彼は時間通りに質問に答え始めず、アリスはまだ答えを聞かず、その人はすでに話し始めています。 またはその逆の場合、人が答えた後、彼は「現実の生活で」別の対話者との会話を続けます。 また、スキルのユーザーは、サードパーティのダイアログの内容を単に理解していない可能性があり、コマンドを「十分」に残さずに通常のアリソ要求を行います。



正しい答えを認識せずに単純に同じ質問を繰り返すと、ユーザーがいらいらし、スキルや一般的な音声インターフェイスが失望する可能性があります。 したがって、エラーメッセージには特別な注意を払う必要があります。場合によっては、質問を再定式化し、明確にし、再度質問しない方が良い場合があります。 ほとんどの場合、ユーザーは同じ質問に同じように大きな声で答えます。



また、ユーザーのさまざまな回答を提供し、セマンティックな部分を強調するようにしてください。 状況に応じて、回答の誤った認識を支持して一度ミスをして、ユーザーに明確な応答を強制しないほうがよい場合があります。 予想される回答にパターンを付けて何かを追加すると（はい*）、多くの場合正常に機能します。また、「既に私を置いておく」と言われた場合は例外であり、プログラムロジックでは重大なことは起こりません。 もちろん、システムに取り返しのつかない結果が生じるという誤った認識のために正確な答えが必要な場合は、ユーザーから明確な答えを得る必要があります。 または、答えがわからない場合は、不足している追加情報を求めることができます。



相互作用の各ケースは個別に検討する必要があります。



上記の例では、ユーザーが短い詩またはあるキャラクターについての詩を求めているという事実に直面しています（「短いものはありますか？」、「雪の乙女について話しましょう」）。



ここにはオプションがあります-メニューの新しいレベルを追加しますが、ダイアログの「人間性」を忘れないようにするか、ユーザーの期待に応じてそのような要求に応答しますが、明示的に提供しません。



最初にこのダイアログ部分をどのように考えても、最初のスキルを最小限の機能で始めて、Snow Maidenの機能を徐々に追加し、人気がありますが事前のリクエストでは予測されなかった反応を徐々に追加したため、実際の使用はユーザーの希望をよりよく示すことに気付きました。



サードパーティAPIを使用する



開発者は、スキルに役立つ機能を提供するために、サードパーティのAPIを過度に使用することがあることに気付きました。 ただし、Webhookの応答時間が1.5秒を超えてはならないことを忘れないでください。 これにより、正しく答えるか、「何かがうまくいかなかった」と書くスキルでネガティブなユーザーエクスペリエンスが発生することがあります。



名前付きエンティティ の認識の機能 ：すべての名前、都市が正しく認識されるわけではないため、これをスキルで提供することをお勧めします。 これまでのところ、雪の乙女と通信する機会の認識されていないYandexの名前で子供を奪わないために、私たちはいくつかの「割れ目」に頼らなければなりませんでした。 たとえば、GloryやHopeなどの名前でユーザーを混乱させないように、開発時にはこれをすぐに考慮してください。 Yandexがこれをすぐに修正することを願っています。



単語の発音



既存の音声合成テストツールは、必ずしも実際にスキルに合っているとは限りません。 回答にttを追加するメカニズムを提供することを怠らないでください。 Yandexエンジンに依存していたため、スキルのフレーズの一部は、発音を改善するためにラベルを付けることが困難になりました（コードを大幅に変更することなく）。 将来的に検討します。



ファジー単語比較のためのシンプルだが効果的なPHP 関数は多くの助けになりました。

similar_text（） 、 levenshtein（） 、他の言語にも同様のツールがあります。 まあ、そしてもちろん、正規表現、それらがなければ。



これらの関数により、たとえば、さまざまな曲がり角で、部分的に正しい答え（正確には認識されない）でなぞなぞの答えを正しく受け入れることができました。



もちろん、これは、 NLP （自然言語処理）の専門家にとっては軽薄に見えますが、これもまた初心者向けです。

現在のプラットフォームの弱点

私はチャットで気付いたYandex Dialogsに対する開発者の主な主張を簡単に説明します。



長い、しばしば一見すると非論理的な節度。 たとえば、「セメロドビンスクの天気」という類似の名前のスキルを既に持っている場合でも、「クリミアの天気」などの非常に一般的なスキル名を持っているという事実のために、スキルが適度に合格しないことがあります。 ですから、これは名前とアクティベーションワードの要件が以前より簡単で、母親のガールフレンドの息子がその男性にとって幸運だったという事実によるものであり、成功しないことを理解しています。 別のフレーズを探すか、 ブランドを使用してみてください。



ドキュメントは常に正しいとは限りません。 プラットフォーム自体は急速に開発されており、ドキュメントはペースを保っていません。ユーザーとYandexの担当者によって解釈が異なる場合があります。



これまでのプラットフォームは、 スキルをデバッグするための基本的なツールのみを提供します。

開発パネルにスキルを追加すると、Webhookはすでに正しく応答するはずです。そうでない場合、検証エラーが発生します。 どの種類のエラー、どのJSONが送信され、どのJSONが送信されたか-表示されません。 スキルを追加できた場合は、最後のリクエスト/レスポンスの内容のみを含む最小限のパネルが表示され、それだけです！ 調停の前に、これが実際にどのように機能し、デバイスで鳴るかを確認する方法はありません。 すべてのブラウザではなく、かなり不安定に動作し、現在のプロトコルに準拠していないサードパーティのエミュレータがあります。



開発者からの他の要望や要望があります：スマートホームとの統合、音声による対談者の決定、より良い世代のスキルの音声を選択する能力、支払いシステムの統合、Yandexアカウントとの統合、 1人のユーザーの下にあるさまざまなデバイス、プライベートスキルの考え抜かれたシステム。 しかし、これらは慎重な研究と、安全性の観点から、利便性を必要とする機能です。 Yandexは、適切なレベルで実装すれば、これらの機会を提供できると思います。 ただし、モデレート、デバッグ、および関連性のないドキュメントに関する問題は、初心者がプラットフォームに慣れるのを大きく妨げる可能性があります。



チャットサポートが着実に対応しているのに役立ちます。経験の少ない、応答の早いコミュニティも組織されており、私を大いに助けてくれました。 サポートは、「メモを取りました」、「ドキュメントについて知っています、修正します」、「モデレートについて決定します」というメッセージで、多くの主張に非常に迅速に対応します。 はい、楽しみにしています。



クイックスタートのために、プライベートスキルを公開することをお勧めします 。これらは最小要件でチェックされます。

• ベースはすべての開発者に共通しているため、スキルの名前とアクティベーションフレーズがチェックされます。
• Webhookはリクエストに正しく応答するはずです。
• プライベートスキルは、歓迎のアドレスでスキルが閉じられていることを報告する必要があります。 そのため、誤って実行しているユーザーに通知されます。

チャットのヒント：



公開されたwebhookから開発されたwebhookへのリクエストをプロキシし、user_idでフィルタリングすることにより、公開されたスキルを使用して、節度を見越して他のダイアログをテストできます。

おわりに

一般に、音声インターフェース自体は非常に興味深いトピックであるように思われ、今後ますます需要が高まるようになります。外国の同様のサービス（Google、Amazon、Siriなど）からの特別な文献、指示、ヒントを読んで、さらに掘り下げていきます。



私のような人がこのトピックに興味を持っているなら、アリスのヤンデックス学校についてもう一度思い出させてください。



その他の関連リンク：



Yandex Dialogブログ

YoutubeチャンネルYandex Dialogs

簡単な対話

音声デザインのブックデザイン

ナターシャ：名前付きエンティティを抽出するためのライブラリ

新しいスキルを知らせる電報チャネル

非公式スキルカタログ