HR-aをロボットに置き換える方法は？ 技術部

Robot Veraプロジェクトについて、ビジネスの観点から既にお伝えしました。 今度は、サービスの内部について詳しく学習します。 今日は、このプロジェクトで使用されるリソースの無限性、セマンティクスとテクノロジーについて学びます。 カットの下-ビデオの復号化。

デジタル変革シリーズ

技術記事：



1. 始まり 。

2. 銀行のブロックチェーン 。

3. 機械に人間の遺伝子を理解するように教えます。

4. 機械学習とチョコレート 。

5.読み込み中...



DZ OnlineチャンネルでのDmitry Zavalishinへの一連のインタビュー：



1. MicrosoftのAlexander Lozhechkin：将来、開発者が必要ですか？

2. Robot VeraのAlexey Kostarev：HR-aをロボットに置き換える方法は？

3. Dodo PizzaのFedor Ovchinnikov：レストランディレクターをロボットに置き換える方法は？

4. ELSE Corp SrlのAndrei Golub：膨大な時間の買い物を無駄にするのを止めるには？

5. Robot VeraのVladimir Sveshnikov：HR-aをロボットに置き換える方法は？ 技術的な部分。

誰とのインタビューですか？

Dmitry Zavalishinはロシアのプログラマーであり、OS Phantomコンセプトの作成者であり、OS Day会議プログラム委員会のオーガナイザー兼メンバーであり、DZ Systemsグループの創設者です。 1990〜2000年、彼はロシアのインターネットセグメント（Relcom）の作成に積極的に参加し、特にFidonetはこれらのネットワークの透過的な相互作用を保証しました。 2000年から2004年にかけて、Yandex社ポータルの設計、開発、開発を担当し、Yandex.Guruサービス（以降-Yandex.Market）を作成しました。 詳細はWikiをご覧ください。



ウラジミール・スヴェシュニコフ -2006年に極東からサンクトペテルブルクに到着。 金融経済大学で法学の学位を取得。 2009年に、彼らはCISの未熟練者の登録に従事する会社First Streetを組織しました。 後に彼は人員のアウトソーシングに従事し、2012年までに彼らは友人と2人の主要なクライアントを持ちました-店チェーン「Healthy Kid」と「Dixy」。 First Streetの年間売上高は3,000万ルーブルで、2013年には5,000万ルーブルでしたが、ウラジミールはすぐにアウトソーシングに出会わず、テクノロジースタートアップを作りたいと考えました。

インタビュー

こんにちは オンエアDZオンラインテクノロジー、および最初のゲストであるウラジミールスヴェシュニコフ、ロボットヴェラの共同設立者兼CEO。人工知能を使用する人材の選定に従事しています。 これは、おそらく人工知能を人々に実際に許可する最初の、おそらく、スタートアップの1つです。 私たちはすでに会って、この分野のビジネスタスクについて議論し、なぜそれが必要で、なぜそれが良いのかを見つけました。 そして今日、ウラジミールは、これらすべてがどのように配置されているか、その理想に至るまでにどのような問題が生じたのかについて少し教えてくれます...いずれにせよ、現在の解決策です。 こんにちはウラジミール



はい、こんにちは！ はい、私たちがどのように始めたのかお話できてうれしいです。 実際のところ、チームには3人しかいませんでしたが、1年前でした。 現在、当社には50人以上の従業員が協力しています。 しかし、私たちが3歳のとき、私は技術的な部分全体を完全に担当しました。 最初は、このような簡単なことを始めました。 つまり、採用担当者のプロセスを繰り返して、繰り返し始めただけです。 私たちは彼の履歴書を探し、彼の候補者と呼ばれ、彼に空席の説明をメールで送りました。 そして、私には特定の技術的背景があります。



私は訓練を受けて弁護士ですが、その後プログラマーに再割り当てしました。 そして、これらのプロセスは非常に日常的で、非常に単調であり、自動化できることに気付きました。 そして、私たちが最初にしたことは...履歴書を探した日だったことを覚えています。 それは約半日かかりました：履歴書を検索するのに半日、半日、それぞれ呼び出し。 それから私は登りました...私たちはサイトSuperJob、Work、Salary.ruでそれをしました。 それから彼は登って彼らのIPを見て、あなたが私たちが1分で半日したことをすることができることに気づきました。 そして、パートナーと一緒にやりました。 彼は、一般的に、ある日何らかの形で履歴書を探していました、そして、私はそれをすべてするために1分で行って、お茶を飲みに行きました。 「なぜお茶を飲んでいるの？」と言います。「私はすでに自分の基準を満たしています。」



彼は彼の規範を作りました。



そして、実際には、これがそのような最初の推進力となりました。 つまり、テクノロジーを使用して、HRでまったく自動化されていない一部のプロセスを自動化できることに気付きました。 それで、それに応じて、私たちはすでに積極的に電話をかけ始めています。 つまり、コールセンターのオペレーターを雇い、自動化されたコール、自動化された...そこでボタンが作成され、ブラウザから直接コールを開始しました。 一般的に、彼らはできる限り簡単にすべてを行い、オペレーターが座ってヘッドフォンを装着できるようにしました。一般に、彼がしたことは音声を合成して音声を認識することだけでした。 そして、これらの技術はすでに市場に出ており、かなり良いレベルの品質を示しており、それらを使用できることに気付きました。



つまり、人は音声を合成し、音声を認識しましたか？ この意味で、その瞬間、あなたはそれと気づいたこの機械の一部としてそれを実現しました...その瞬間まで、すべては単純でした。 IP経由で空室のリストをピックアップし、いくつかのキーワードでそれらを選択します。 ただし、全体的に微妙な点があります。 しかし、神は彼と共におられます。 おそらく後でそれらに戻ります。 ある時点で、音声を合成し、音声を認識するようになりました。 合成も明確です。スクリプトがありましたが、多かれ少なかれ、おそらく特定の選択のために修正されています。 そして認識は...結局のところ、あなたは最初に非常に単純な質問と回答から始めましたか？



はい



認識がうまくいかなかったのですか？



はい、もちろんです。 いくつかのポイントがあります。 そこに、あなたがそれを見れば...まず第一に、私たちは非常に長い間、人々がロボットと話していること、対話を構築する方法を人々に理解させる方法についてのアプローチを探していました。 つまり、最初は人々はショックを受け、何を言うべきか、何に答えるべきかを理解しません（特に地域と呼ぶ場合）。 モスクワ、ピーターズバーグはまだ普通ですが、地域では人々は直接驚いています：ロボットとは？ （現時点では、さまざまな語彙を聞くことができます）。



そして、私たちは始めました...私たちはそれを作り始め、それが自己紹介を始め、それからコミュニケーションのための特定の標準フォーマットを設定しました。 つまり、「答えを認識できます」「はい」または「いいえ」と彼女は言います。 はいまたはいいえの質問に答えてください。」 それから人々は、「はい」と言うと、それから...まあ、つまり、彼らが彼らとどのようにコミュニケーションをとるかを理解するようになります。 その前に彼らは不協和音を持っているからです。 つまり、ロボットのように、ロボットはありません。 なに 未来からの電話？ まあ、それだけです。 したがって、おそらく、音声認識がここにあります。 異なる単語を完全に認識できるようになりました。 つまり、空席を選択し、質問をするスクリプトが用意されています。 つまり、私たち全員がこれをよく認識しています。 しかし、それは「はい」または「いいえ」でした-これは、人々がロボットと通信する方法を確実に理解するためでした。 つまり、これが主要な瞬間でした。



つまり、すぐにもっとできることはありますか？



はい



それともまだないのですか？ なぜなら、結局、セマンティクスが始まるからです。



はい、まあ、セマンティクスは後で追加しました。 つまり、ほんの数か月前に質問に対する答えをここに追加しました。 それは彼が言ったことを正確に認識することです-私たちは長い間そうすることができました。 このスクリプトにはこのようなポイントさえあります。彼がノーと言った場合、空席は彼にとって面白くないので、「なぜ面白くないのか」と尋ねます。 そこで彼は、なぜそれが面白くないのかと答えます。







しかし、これは記録ですか？ 分析しようとせずに答えを記録しているだけですか？



彼を認めます。



わかりますか？



はい、答えとしてアカウントに正確に表示します。



テキストの形で？



はい



この時点で問題はありましたか？ これは、ごく当たり前のように見えるものです。 一般に、地球上のほぼすべての人が2日間でライブラリのパックを受け取り、ひざまずいてこれをすべて収集できるようになりました。



もちろん問題があります。 主な問題は、おそらく、技術的な側面について言えば、そのような複雑な製品があったことです。 通話のみ、認識のみ、音声合成のみについて話す場合、これは別の話です。 彼女は非常に大きく、複雑です。 そこにも、たとえば、そこにあることをしました...外部音声認識を使用します。 Google、Yandexを使用しています。 まず、そのようなベンチマークはありません。 つまり、タスク、テキストの正確さ、録音内容の認識方法を確認する必要があります。 つまり、最初にしたことは、この種の分析を行うことでした。 それに応じて見たところ、より良く機能します。 そして、キャンペーンの1つがより効果的に機能し、より良い結果を示しているにもかかわらず、ある瞬間の応答速度が長くなる可能性があることに気付きました。 つまり、彼女はもっと反応することができます。 そして、録音をいくつかの音声認識システムに送信し始めました。 Microsoft、Googleを含め、Amazon、Yandexがありました。 つまり、4時に、ある種の最速の応答を送受信しました。



現在、最大2つまたは3つのシステムを使用しています。 つまり、ピーク時です。 そのため、主な難点は、さらに...最初に履歴書の検索を実行する必要があり、その後...彼女はロボットであり、自分ですべてを行うということでした。 彼女は自分で検索し、発見した後、電話をかけ、その後、「はい」と答えていない人にメールを送信します。



ロボットに目を離さないでください。



よく見てください。 監視システム。 つまり、これが私たち全員が経験したことです。 そして最初に、私はこれをすべて一人でやったので。 私はこれをまったく正しくしませんでした、私は急いで、すぐにそれをしました。 そして一般的に、そこには1つのDockerコンテナーがあり、そこにもベースがありました。つまり、すべてをマイクロサービスに分割することはしませんでした。 すべてが1つのコンテナであり、1つのイメージがすべて1つの仮想マシンで機能していました。 そして実際には、新しいクライアントごとに新しい仮想マシンを作成しました。 また、監視システムがなかったため、負荷がかかった状態ですべてが落ちたことがよくありました。 ストーリーの1つは、ある大規模なクライアントが私たちに来たときでした。 パイロットと2、3日過ごした後、ある時点で彼はストップリストを呼び出して、数千人の候補者をアップロードしました。 もちろん、メモリリークが発生し、すべてが隠蔽されました。1つのコンテナであるため、画像は保存されませんでした。 私はテレフォニーを通じてそこにいましたが、このすべてを通して、彼らが電話を失うことのないように、この物語をほぼ一晩中復元していました。 一般的に、はい、そのような問題がありましたが、ここで、おそらく、私たちが話をすると...



実際、これらは典型的な問題です。 かなり当たり前。 また、ハイテクや認知と正確に結びついていません。 一般に、これはおそらくすべてのスタートアップで起こりました。すべてのスタートアップは、最初はおそらく、技術イデオロギーの最初の人の力によってそれを行うからです。 つまり、認識品質そのものですか？



しかし、認識の質にはもちろん問題があります。 それらはさまざまな方法で解決されます。 つまり、たとえば、住所を認識した場合、それが住所であることを認識システムに送信します。 その後、より良い品質が得られます。 質問を認識した場合、これが質問であることを示します。 しかし、一般的に、今では通常の録音があれば、外来ノイズがなければ、まったくないなら、かなり良い品質です...まあ、人は普通のスピーチで話します、欠陥はありません。



ちなみに、これは興味深い点です。 モスクワ市のサービス、Mos.ru市と話しました。 彼らも同様の技術に積極的に関与しており、そこでも理解可能なタスクは非常に大規模です。 完全にとんでもない仕事があります-水道メーターに関する情報を収集します。 ロボットが認識する音声を呼び出すことができます。 そして逆に、彼らはそれが不完全なスピーチまたはアクセントのあるスピーチであり、強いアクセントがあり、その反対であると言います、それはアルゴリズムによって非常によくカバーされ、生きている人々よりも優れています。 あなたが正しく聞こえたら、あなたは反対の状況にありますか？



まあ、私たちには直接的な問題があるので、正直言って、アクセントのある人がたくさんいました。 それは、基本的に、私たちと一緒に、誰もが何らかの形で標準的に話すことです。 それはおそらくまだ...何に頼るかに依存します。 つまり、たとえば空席などの回答オプションを選択するように求められた場合、彼女はそれを話します。「セールスマネージャー」、「ローダー」、または「ストアキーパー」を選択します。



それらを狭いスペクトルに非常に狭く削減しようとしていますか？



はい、もちろんです。 そこには、アンケートや履歴書を収集したケースがあり、人に自分のことを話してもらい、自分の経験を話してもらいました。 そしてもちろん、さまざまな興味深い、非常に面白い話がありました。 まあ、それは、彼らが彼ら自身についてどのように語ったか、そしてそれがすべて認識された方法です。 確かに今は大きな間違いがあります。 そして、彼女はそこでスピーチを完全に認識できるようなものはありませんでした。



エラーをどのように測定しますか？ 結局のところ、人が自分に言っただけの場合、正しいテキストと認識されたものを比較できる明白なメトリックを構築することは不可能です。



現在はマニュアルのみです。 特定のアカウントマネージャーがいくつかのレコードを聞いてから、回答を確認します。



手動で個別に検証しましたか？ つまり、これは多かれ少なかれ、品質の選択的な検証ですか？



はい つまり、どの認識システムを主なものとして採用するかを選択したとき、私たちは注文を取りました。私たちが持っていた1000件弱の音声録音と、この音声録音のそれぞれ...そこでテキストを認識し、認識されたテキストを音声録音で確認しました。 ここに座ってそれをしている少数の人々でした。



しかし、これはシステムの選択ですか？ つまり、nシステムがあり、正解がわかっている既知のテキストのコーパスがあります。 あなたはそれらを逃げます、比較してください。 明らかなメカニズムがあります。 ちなみに、最終的に誰が4つすべての中で認識されているのでしょうか？



まあ、彼らはそれぞれ独自のものを持っています...もちろん、もちろん、今ではGoogleが最高であると市場で考えられています。 さて、ここで、たとえば、Microsoftはより速く記録を提供してくれました。 ここでは、おそらく、さまざまな方法で見ることができます。 1つのシステムを選び出すことは不可能です。 ただし、現在は常に2-3を使用しています。



Yandexは部外者であることが判明しましたか？ 彼は認識が悪くなり、反応が遅くなりますか？



Yandexはアドレスを非常によく認識します。 これがおそらく最高です。 さて、アドレスがあれば、考えさえせずに、すぐにYandexを使用します。 それが最良の選択肢だからです。



しかし、これはおそらく、彼らがアドレスの良い基盤を持っているからでしょうか？



はい、はい、Yandex.Navigator。 もちろん、Yandex.Taxiがあります。 つまり、タクシーの運転手がそこに住所を呼ぶと、多くの音声サンプルがあります。 つまり、非常にうまく機能しているということです。 他に試していないこともあります...もちろん、一般的な分析の一環として試してみましたが、Yandexの方がはるかに優れています。



グラマーアナライザーを介して認識出力を実行し、そこで調整を確認したような、ささいなことはありますか？ そして、それは認識として特定のメトリックとして使用されていますか？



はい 私たちが今何をしているのかについて話を始めたら...まあ、今、あなたが何らかの形でそれらを自動的に測定すると、確かにベンチマークがあります、私たちは国際的に見えます。 そこでMozillaは最近、独自のオープンソースである音声認識を作成しました。これは品質基準を示しています。つまり、品質の精度はGoogleのようなものです。



ロシア語を含む？



いいえ、これまでのところ英語のみです。 彼らはロシア語を教えることができます。 しかし、我々はまだ国際市場に目を向けているので、私たちにとってはそうでした...私たちは今、ドバイで最初のパートナーを獲得しています。



しかし、ドバイでは、この英語はすべて同じですか？



はい、完全に英語があります。 彼らの職場はすべて英語です。 まあ、アラビア語への翻訳がありますが、英語のページにはずっと多くの出席者がいます。



問題に戻る。 正しく理解できたら、Habrの記事を見て、そこで何が起こっているのかを見て、セマンティクスを理解しました。



はい、これから詳しく説明します。 私たちが解決し始めた2番目のタスク...開発では、ビジネスがもたらす問題を解決します。 ビジネスは定期的に私たちに伝えます、私たちは製品をより良くする必要があり、リクルーターを交換する道をさらに進む必要があります。 したがって、Veraのロボットが調整のために住所と場所を面接に呼び、完全に同意できるようにする必要があります。 そして、私たちはこのことを始めました。 原則として、すべてが非常にシンプルですが、大丈夫、彼らはそこで面接への招待のためのスクリプトを追加し、いくつかの回答を受け取りました。それが面白くない場合、彼らは別の日付を提案しました。 カレンダーとの同期があります。 一般に、タスクは非常に単純ですが、開始する時間さえありませんでした。非常に重要な別のタスクは、候補者がフィードバックを受け取らないことです。



ロボットから？



はい 彼らは雇用主のスクリプトに従います。 雇用主は3つの質問をすることにしました。候補者はこれら3つの質問を聞いて答えましたが、候補者は質問をすることはできません。 そのような一方的なシステムが判明しました。 つまり、彼女はそのようなB2Bビジネスですが、同時に大きなB2Cパートがあります。 つまり、私たちにはすでに150万人以上のインタビューを行った候補者がたくさんいます。したがって、これはロボットと話し、潜在的に彼らの質問をしたい、いくつかの答えを聞きたいと思っている150万人の人々です。 そこで、この問題を解決し始めました。 そして、例えば、給与の単純な質問は異なって聞こえることがあることに気づきました。 つまり、単純な筋金入りの単語リストのレベルではプログラムできません。 たとえば、給料の問題は「お金のために何ですか？」と聞こえるかもしれませんし、「金銭的要素は何ですか？」と聞こえるかもしれません。つまり、同じケースがあります。



そして、それに応じて、間違った質問には答えませんでした。間違った質問には答えませんでした。収入、給与です。 それから私たちはいくつかのオプションを探し始め、車につまずきました...私は機械学習を長い間研究してきました。チームに積極的に関与している人々がいます。 また、Word2vecライブラリのような物語があることを思い出しました。これはニューラルネットワークに基づいています。 Googleはそのページを提供します。 つまり、たとえば、同じ場所にリクエストを書き込んだ場合、実際には、Googleのリクエストは空室の質問とほぼ同じです。 そして、それに応じて、Googleはこのライブラリの助けを借りてこの問題を解決します。 つまり、表示する方が良いです。 つまり、彼はそこでテキストを取得し、それに応じて、どのドキュメントがより良いか、より高いかを示します。 ドキュメントのランキング。 基本的に、それはどのように機能しますか？ 一般に、すべての単語はベクトルに変換され、ベクトル空間で表現されます。



N次元はいくらですか？



確かに言うことはありません。 しかし、これらのパラメーターは並んでいます。 つまり、変更することができます。 そして、モデルの品質はそれらに依存します。 標準のWord2vecモデルを使用して、パッケージのトレーニングを行いました...まあ、約150 Kbのパッケージがあります。 これらは数百万冊の本です。 ウィキペディアのコーパス、ロシア語のウィキペディアのすべての記事が含まれ、それらはすべてテキストに翻訳されており、彼女はこのテキストのトレーニングを受けています。 彼女はどのように学びますか？ つまり、彼女はこのテキストに目を通し、見ています。 たとえば、「電話で電話をかけました」という文があり、たとえば、「モバイルで電話をかけました」という文があります。 どちらの場合も「電話をかけた」は同じコンテキストであるため、「電話」と「モバイル」...



彼らは近いと仮定します。



はい そこで、彼女は単にそれらをまとめ、最初にそれらをランダムに配置し、次にポイントでまとめます。 そして、私たちはベクトル空間での単語のそのような特定のマッピングを取得します。



単語のセマンティックな近さのメトリック。



はい そして、コサイン距離またはユークリッド距離を考慮します。 , , , 10% . , , , , . , , . , , . 70% . , .



70% ?



.



?



. , , , Data Set, -, -. , , . : , , . « ». , . « », « ». , . , - . 5-10 . ? , , ( ), . , , , , , .



, , , , . , Word2vec, OpenAI . . , . , , … . research . 80 Amazon . – . . . , . .



, , . - - , , , . ?



. , , , , . , , , , … …



- , , ? ?



.



- ? . . ?



. , 30. 30%. -.



?



. , , 70%, . , 70, 56. , . , .



50 …



. 50 50. 80 . .



? ?



, , Word2vec , 5% . 5%, , . . 10% . . 5 , 15. , , , 80.



, , ? , , , , ? , , . , , , , .



, ? ? , -, . , , . . , … 5 ? . . , . , . , - , , « , IPhone X?» , , , .



.



, , . , , .



, ?



12- . , , . , , , .



?



.



, ? , .



. , , , . , . . , , … , . , , … Job description, . . . , , , . - , , , , , - . .



, . , , ?



, . , , , . , … - - , - - , , . , open source . .



? ?



いや



?



.



?



. . - - - . , - , , ? .



.



. . , … , broadcast. , , , . . , - .



- .



. , … , , - , , , , . . , Amazon, OpenAI.



, ?



.



3 , ?



いや .



, .



. , , Microsoft , . , , , , . , , IWS . , , . OpenAI , . , , . -, , , – . , , … .







- ? — , .



. , -… , , … , , , , . , , 2 .



, .



, . . , 2 . , , , , ip . , -, , 10-15 , HR- – , . . , , . , . 2-3% . , , . , , ?



3%? , , , , -, «» «» . . , … , , . , , . , .



, , . ? , , , , . , - , , 2, ? - ? . , – , , , , , . ?



, … 2-3% , …



?



, , , … 80 . , , , base line , .



?



, , .



…



, . , , , . , .



.



. , , - . , , . , , . 2-3%. 80- . , . - .



, , ? 2 . , , «» «». , , , , ? , …



. . , …



, , . . , , , - , , , , , . , , .



, . , , . , , , . , , , , , , . , , . , , . , competition is for losers, . , , - , . , , . , , , , , – .



, , , , , , «» «» . , ? , , , . , - , , - -. , , «» , «». , - , - . - «», - « ». , , … , , , : « ?» , . , : « ?», : « ?» .



.



.



, .



. , , : «, ». , . . , , . . , , . .







. , - . - , ?



, . , . , , , , … big deal , , … Jarvis . , , , . : Facebook, Amazon, Google, Microsoft . . , - . , . , . . .



, , . , , HR, , , , - , . , . , . , . , - . , - , 80% .



- . , , , , , . , , , – , : « , ». ?



, -, , , - . , . , - . , : « , , , ».



? - . ?



. . , . , timeline . , - management selection, , , , 10-15 . , , , : « ? ? . , ?». - – , , . , . , . : , , , . , . , . .



, , , - , , , . . , . , , . , , : « ?» .. , . , . , – . , , . , value .



, – , ?



, . – . . , , , , . , , - . , , , , - . , , .



, . , , , , , . , , . , . , , . - . , , , . -, . , . , - , , . , , , — . , , , , .



, , , , , - . , - . - . , , , - ?



, . - . , - 20% , . 20% , , . , . , , , . , HR, , . , 10-15%, . , : « ?» .



: «, ».



, , , , , , . , , . , , .



.



-, . , , , . - . , 100% , . , , , , - , . , .



リード。それでは...おそらく、システムがチューリングテストに合格した日を待ってから、再度電話しますか？



はい、もちろんです。