🌉 🧗 🧝🏼 コールセンターおよび偏執病者向けのロシア語音声認識 🍮 🙇🏼 🐜

コールセンターに電話すると、彼は注意深く耳を傾け、時にはオペレーターや仲間の専攻学生だけでなく、ロボットアナリストにも答えます 。このcなロボットは、スピーチに必要なキーワードを認識できますが、フルテキストのスピーチ認識も生成し、これに基づいて、広範囲にわたる結論を導き出します。

記録は、たとえば、生きている人による分析の特定の呼び出しを探すことにより、オンザフライ（めったに行われない）と事後の両方で分析できます。このためにいくつかのハードウェアおよびソフトウェアソリューションを使用しましたが、今では経験を共有します。

いくつかの特に難しいケースを除き、自動認識はすでにロシア語に対応し始めています

私はすぐに注意します-はい、これらの決定は「声の指紋」によって特定の人の定義と組み合わせることができますが、これは少し異なる話なので、ここでは詳しく説明しません。

4つの主な方向

音声認識が現在開発されている4つのベクトルがあります。

音声サービスシステム（IVR）の自然認識は、iOSおよびAndroidの音声アシスタントとほとんど同じです。ほぼ同じ精度で。
交渉の分析（トレンドを検索するための数千のコールの分析）。
音声認識と識別（ほとんどすべての銀行に残しているのと同じ「音声指紋」）。
また、感情の分析により、何かが間違っていることを理解できます。通常、感情の分析は事実の後も同じように起こり、他の認識エンジンと連携して機能します。ただし、一部のベンダー（非ホスト）は「オンザフライ」でオプションを提供していますが、通常は他のビジネスプロセスに特に結び付けられていない別個のテクノロジーです。

IVR

ここではすべてが十分に精通しています。キャリアに電話をかけています。彼らはそこに女性を連れ出し、そこに機関銃を入れました。マシンは、あなたがどの都市から来たかを尋ねます。あなたは答えます、ソフトウェアは音と形態素を書き込もうとしています。そして、結果を可能な回答のデータベースと比較します。

成功事例：

ロボット：あなたはどの都市にいるのか教えてください。

ユーザー：モスクワ。

//ロボットが認識したもの：マスク。

//データベースには、Maskvaという音声同義語があります。

// Damerau-Levenshtein距離による「マスク」の結果は、同義語「マスク」に最も近い。サンプルの拡張は必要ありません。

//データベースには、この同義語に対応する都市モスクワが含まれています。

ロボット、うれしいことにあなたはモスクワにいます！

失敗：

ロボット：あなたはどの都市にいるのか教えてください。

ユーザー：さあ。

//ロボットが認識したもの：psholka。

//データベースには、プーシキンとプシュチノの都市の音声同義語があります。

//「たわごと」の結果はすべてのオプションからはほど遠い。選択は拡張された地名に展開されます。

//選択は、質問に関係なく留守番電話の標準的な質問に拡張されます。

//拡張選択では、そのような単語のオプションはありません。

//通信履歴はこれまでのところ空です。

ロボット、悲しい：あなたがいる都市を繰り返してください。

ハードケース：

ロボット：あなたはどの都市にいるのか教えてください。

ユーザー：ウラルで。

//ロボットが認識したもの：科学的。

//標準選択のデータベースには適切なオプションがありません。

//最初の部分は前置詞または間投詞に似ており、同義語「at rale」とその派生語が同時に作品に組み込まれます。

//標準選択のデータベースには適切なオプションがありません。

//選択は場所名に展開されます。

//拡張サンプルには、「Ural」とその派生音声同義語があります。

ロボット、悲しい：あなたがいる都市を繰り返してください。

ユーザー：Zavyalikha、兄弟。

//ロボットは長いメッセージを断片に分割し、それぞれを探し始めます。

//都市はZavyalikha、Bratsk、Brat-Nyivaにあります。

//ロボットは歴史を調べます。ウラルがあります。あるトポニムは別のトポニムに対応すると想定されています。ウラルは各都市と比較され、最も近いのはザビャリフです。理論が最も可能性が高いと指摘されています。

ロボット、困惑：あなたはザビャリハにいますか？

ユーザー：間違いなく！

//これは分離の質問です。 yesとnoの同義語を探しています。次に、各同義語は「adnazdachna」などの音声同義語によって評価されます。サンプルの検索は、クライアントがロボットの理論に同意することを示しています。

ロボット、満足：どの都市に向かっていますか？

ユーザー：今日はどこで飛べますか？

したがって、ご覧のとおり、基本となるのは、主要な応答単語の同義語のシステムと、対話の管理を担当する特定のメタ単語のセットです。各単語には、「aha」、「oga」、「aha」など、多くの音声同義語があります。使用されている特定の論理システム（いくつかの異なるものがあります）に応じて、ロボットは何らかの方法でコンテキストを評価し、基本サンプルから回答の信頼性を推定し、必要に応じてサンプルを展開し、通信の履歴に基づいて仮説を立てようとします。より複雑なケースでは、文分析を使用して、どの単語が何を意味するかを判断します。たとえば、飛行中の質問に対して、ユーザーは「モスクワから晴れたマガダンまで」と答えることができます。ここには少なくとも3つの都市があります-モスクワ、ソルネチニー、マガダン。認識された前置詞に基づく文の分析は、ソルネチニーとマガダンがより重要であると予測するのに役立ちます。さらに、ロボットは、たとえば、外部拠点にリクエストを行ってコンテキストを追加しようとすることができます。モスクワからソルネチヌイへの直行便がない場合、マガダンが選択されます。しかし、これらすべての方法のエラーを考慮して、ロボットはそれでも正確かどうかを再度尋ねます。

最も成功したのは、そのようなIVRが銀行によって使用されることです。たとえば、同様のダイアログが可能です。

ロボット：どうすればお手伝いできますか？

ユーザー：こんにちは。スモリノ湖に最も近いATMはどこですか？

ロボット：チェリャビンスクにいますか？

ユーザー：ええ、ノヴォロシースクで。

ロボット：最寄りのATMは、そのような通り、そのような家にあります。

音声識別

音声を録音してから約1分で、データベース内のIDと一致する一意の「指紋」を作成できます。認識は、スピーチの約8〜15秒の最初または2番目のフレーズによって実行されます。自分が本人であることを確認することに加えて、指紋データベースで検索を実行することもできます。

大規模な銀行は、この方法を、重要ではない操作の追加のユーザー識別の手段として、およびフレーマーのフィルターとしてほぼ完全に使用しています。銀行には詐欺電話の記録があり、既知の攻撃者の1人が電話した場合、オペレーターは自分の声をデータベース内のマークと一致させることに基づいて特別な警告を確認します。コールセンターのすべてのレコードを遡及的に分析して、特定の人物のレコードを検索することができます（ただし、精度が低いため、1000コールのデータベースでは、必要なレコードを見つけるために約30を聞く必要があります）。詳細はすべてこちらです。

感情分析

あなたの感情状態に応じて、スピーチの特定の音の周波数（打楽器、鼻など）、およびいくつかの母音の発音が実際に変化します。ほとんどの場合、感情状態を判断するためのアルゴリズムは閉じられています。その精度はそれほど高くありません。したがって、繰り返しますが、数少ない実用的なアプリケーションの1つは、クライアントが10回前に呼び出した条件を知ることです。ロシア市場では、スピーチの分析に加えて感情の分析が使用され、感情的な「悪い」または「良い」課題をより正確に判断します。

音声分析

最初のタスクは、対話を2つのチャネル（受信と送信）に分割することです。これは、コールセンター（2つの異なるソースからの書き込み）を使用するか、後処理（スピーカー分離技術など）を使用して解決できます。そのような準備の後、各部品を個別に検討することはすでに可能です。

たとえば、入り口で-今月の40万件の通話記録。これに先立って、コールの1％未満が手動で推定されました。

次のタスクがあります。

一部の演算子は、「ウィンドウ」ではなく「ウィンドウ」と言います。そのような専門用語はあなたに合っていません：あなたはそれが誰であるかを理解し、それを再度説明する必要があります。
オペレーターによる寄生虫単語の使用を絶えず監視し、それらを呼び出しで自動的に読み取るとよいでしょう。
広告キャンペーンがありました-電話をかけるときに、新製品、携帯電話料金、または別の製品に言及した回数を理解する必要があります。ロボットはそれらを数えます、マーケターはオーガズムです。
沈黙が明るみに出ます。 5秒以上の無音は、プロセスに何らかの困難があることを示しています（たとえば、オペレーターが自宅で何かをダウンロードしているなど）。この場合、後でどのようなサービスが非常に遅いかを確認できます。
顧客満足度を評価することは良いことです。
FCR（CCへの最初の呼び出しから解決された呼び出しの数を推定するインジケーター）をカウントする方法を学ぶことは素晴らしいことです。
また、オペレータの効率を向上させるために、音声分析の助けを借りて、特定のトピックにスペースがあるオペレータを自動的にトレーニングできます。

したがって、最初のケースでは、すべての発音バリエーションの「ウィンドウ」を検索データベースに入力するだけで十分です。ロボットは音声を解析し、そのような発生を探します。同様に、寄生語の問題は解決され、私たちは探し求めます。同様に、製品名の新しいカウンター、評価する必要のある質問のレベル。無音検出は基本的な機能であり、何も設定する必要はありません。

顧客満足度は、もう少し複雑なトピックです。約500の「悪い」辞書と同じくらい多くの良い単語があります。文脈に応じて両方のカテゴリに分類される単語があります。たとえば、ロシア語のマットと派生語です。言葉は同じですが、熱狂的に賞賛されることもscられることもあります。システムに応じて、ロボットはさまざまな方法でコンテキストを評価し始めます。たとえば、「ありがとう」という言葉が近くにあった場合、一般的に肯定的な評価が割り当てられます。たとえ皮肉だったとしても。

傾向の特定はほぼ同じ方法で機能します。ロボットは、音声分析に基づいて特定の正式な法律を検索できます。

スーパーバイザがタイプ別にコールを表示する方法の図。 青-標準呼び出し。 黄色-従業員の質に関する問題。 赤-売上の損失。 緑は肯定的なレビューです。 バイオレットは危険にさらされているクライアントです。

最後の点に関しては、オペレーターは制御される個々のKPIを構成します。そのようなインジケータの1つの値が「悪い」側またはゾーンに偏っている場合、これは、オペレータがトピックの1つに精通していないことを示すインジケータとして機能します。または、たとえば、ベストプラクティスとテクニック（たとえば、販売または収集）を特定できます。そして、この情報に基づいて、既存の学習メカニズムを調整します。 KPIを適切に使用すると、オペレーターは生産性を「競合」できます（他のオペレーターと自分自身の両方で）。私の経験では、自分の仕事を数字で見るオペレーターの方がうまくいく傾向があります。

不正確

顧客満足度の評価を伴うコールの75％が5％未満の誤検出で正しく選択された場合、これは、たとえば、いくつかの複雑な感情的なタスクを識別する必要がある場合に、多くのカテゴリで大成功と見なされます。特定の単語を検索するなど、一部のセグメントでは、精度は85％〜95％で、最小値はfalseです。ノイズの多い回線の状態では、統計は次のようになります。真のコールの約60％がサンプルに該当し、そのうち約5〜10％が誤検知です。しかし、40万件の呼び出しがあるため、統計情報についてはこれはまだかなり正確です。実際、システムが関心のあるコールの30％のみを選択し、残りの70％をスキップした場合でも、専門用語を愛するオペレーターを見つけ、特定の製品の否定的肯定的レビューの割合を補う機会が得られます。

特定のエラーは、コールセンターの機器、ファジー検索のタスクの精度、認識システムのクラス、および発信者の聴衆によって異なります。

なぜそんなに大きなエラーがあるのですか？

ライン上の干渉のため。
風などの背景音により、認識が非常に困難になります。識別のために声の痕跡を作成でき、背景に叫んでいる子供がいる場合、単語を解析するのはそれほど簡単ではありません。
一部のPBXや古いセルラーコーデックに典型的な狭帯域では、「C」と「F」を区別することはほとんど不可能です。低レベルでさらに多くの仮説を生み出す形態素解析を含める必要があります。
ロシア語は非常に弱い型付けです。仮説を立てる提案の構成に依存することは非常に困難です。
意味はしばしばイントネーションに大きく依存しています。語彙確認「Aha」および「もちろん」-それは「Aha、もちろん！」でもありえますが、これは否定です。誰もがロボットと話す方法を知っているわけではありません。
IVRの場合、ユーザーが留守番電話と話している内容をすぐに理解できるとは限りません。したがって、数分間のさまざまな複雑な構造と説明。
そして、さまざまなストレスと発音があります。
これまでのところ、認識システムの開発者は、ダゲスタンまたはフィンランド語のアクセントで作業をプロファイリングするタスクを設定していません。
コールセンター自体で記録するためにファイルを圧縮する場合、新しい歪みを導入することもできます（これは分析後にも当てはまります）。

実際のアプリケーション

システムの製造業者の1人がこれを述べました：

•特定のパラメーターとキーワードによるアクセスの検索プロセスの自動化。

•キーフレーズのポイントに移動する機能を備えたアピールの再生。

•顧客の苦情および苦情の理由の特定。

•追加のトレーニングが必要なオペレーターの特定。

•オペレーターが使用するベストプラクティスの特定。

•指定された選択条件で上訴された場合にアラートを受信します。

私の実践では、次のタスクがありました。

「5つのキャップをもたらす」という精神で、広告キャンペーンの結果を特定する必要がありました。コールセンターへの呼び出しの増加は、アクションのフリーフォームでの言及の数と比較する必要がありました。呼び出しの約60％が正しく選択されたため、エラーがわかったため、推定を行うことができました。
ある会社では、名前が変更されました。いくつかのオペレーターは古い習慣を使い、離乳する必要がありました。見つかって離乳した。同じタスクの一環として、オペレーターが各クライアントに挨拶し、自己紹介することが確認されました。ロボットは、会話の開始時にあいまいな挨拶テンプレートを確認しました。
銀行のオペレーターは、3つの新しいサービスを提供するスクリプトを持っていました。顧客のさまざまなグループに対してそれらへの関心を比較検討する必要があり、最終的には、各グループに対して、1つの最適な提案のみを残すべきです。上記の満足度を評価するメカニズムが使用された、かなり複雑なタスク。もちろん、エラーは大きいですが、その後の数百のコールをリッスンする統計分析では十分でした。顧客は、私が4〜5,000件の電話を聞く前に満足しています。
オペレーターの負荷を評価するために、方向への呼び出しを分散させる必要がありました。大まかに言って、クレーム、製品比較、空室など。各トピックの辞書、一般的なコンテキストルール-およびgo。精度は約65％で、統計には十分です。
国営企業のビジネスプロセスの遅延を特定する必要がありました。通話の37％は長い沈黙でした。その後、言語の巣を分解して沈黙させ、すぐに最も重要なキーワードの評価がまとめられました。各ネストは、プロセスまたは製品に関連するある種の傾向に要約されました。タスクの範囲が広いため、最小限の誤検知に焦点を当てたため、呼び出しの約30％のみがサンプルに分類され、すべてを正確に認識できました。呼び出しの絶対数は重要ではなく、理由を見つける必要がありました。遅延は「カード取引」、「クレジット」、「早期返済」のブロックにあることが判明しました。プロセス（この操作を行う簡単な方法はありませんでした）とサービス（セットに3秒ではなく、ロードに約9秒かかりました）の両方に問題がありました。修正しました。サービスを改善するために無音状態を監視し続けました。特定のビジネスタスクは、最も長いプロセスを検索して最適化することにより、顧客サービス時間を短縮することです。

一般的なキーワード検索の原理

そしてそれらによる分類

そのようなシステムを実装することはいつ意味がありますか？

コールセンターが100人以上のオペレーターである場合-そうでない場合は、手でコールを整理する方が簡単です。

同時に、インフラストラクチャでは事後分析が要求されません-ロボットが分析のためにレコードを取得し、結果をWebインターフェイスに表示する場所からFTPにアップロードすることもできます。それでも、コーデックと録音の品質には多くの要件があります。

すべての人のタスクは異なり、セキュリティからマーケティングまでのさまざまな方向に分散しているため、回収の見積もりはできません。顧客レビューと、真空中の球状CCのベンダーの推定によると、1年から2年です。

システムの1つを微調整する

2008年のコールバック分析結果の例

音声分析システムのツールキット（私が知っているすべてのベンダーの）を使用すると、通話の対象セクションで最も頻繁に使用される単語やフレーズを選択できます。そのようなシステムを使用して、さまざまな角度からのコールのボリューム全体を検討する機会があることを思い出してください。したがって、CCのさまざまな分野における重要な傾向を強調することができます。

同時に、呼び出しの原因を理解し、何が何であるかを理解するための追加のツールがあります-これらは単語間の相関を構築するツールです。簡単に言えば、私が興味のある単語を選択すると、システムはそれが最も頻繁に使用される他の単語やフレーズを表示します。場合によっては、システムは統計的な一致を検索するだけでなく、試行も行います。したがって、CCに適用する理由を理解し、正しい意味に分類する、つまりわかりやすい文を作成できます。また、システムのユーザーは、CCにアクセスする理由を簡単に判断し、さらなる分析（根本原因分析）を実行できます。

毎月のローン支払いを明確にするために電話をかける理由を決定する例：

または、ここでは、ユーザーが支払いを行う際に問題があることは明らかです。

実装

IVRおよび音声分析では、ほとんどの場合、PAKを適切にインストールする必要があります。鉄とソフトウェアは、平均して2週間で構成されます。約1か月または2つ以上の文書に署名し、規則を策定し、音声処理の法的側面を調整し、システムを統合します（たとえば、CRMなど）。

ポスト分析用の同じサービスがクラウド環境で利用可能です。ロボットがレコードを処理してレポートを発行するデータセンターにレコードをアップロードできます。条件は同じで、鉄分はマイナス2週間です。通常、新しいタスク（組織の問題はすでに解決済み）は、1〜2日で分析に組み込まれます。

言語別-平均して、世界で最も人気のある言語の約10が最新のシステムでサポートされており、さらにこのリストに含まれていないヨーロッパの主要言語もサポートされています。もちろん、ロシア語も。

特定のサイトについて質問がある場合は、コメントまたはメールDVelikanov@croc.ruでお答えします。

まとめ

ロボットに栄光を！

コールセンターおよび偏執病者向けのロシア語音声認識