今日は、Aliceのトレーニング、ディレクトリの更新、およびコメントのモデレートにTolokaを使用する方法について学習します。 すべての小見出しはクリック可能で、記録レポートにつながります。 行こう！
現場での作業：Yandex.Directoryの情報の収集と確認
Yandex.Directoryは、連絡先、写真、レビュー、その他のデータを含む組織の巨大なデータベースです。 最新の状態に保つには、大量の情報を収集して処理する必要があります。
Tolokaはこれらのタスクをうまく処理します-月に平均5万件がDirectoryの1500万件のタスクを解決します。 それらの中には、自宅で解決されるデスクトップと、路上での実行が必要なフィールドがあります。
デスクトップTolokでは、ユーザーの写真をモデレートしたり、カフェやレストランのメニューを解読して施設ごとに料理を検索したりするなど、ディレクトリ用に数十種類のマークアップが作成されます。
すべての組織が、情報をリモートで明確にする電話やサイトを持っているわけではありません。 そのような組織のデータを更新するために、強盗は街頭に出て、スマートフォンを使用してタスクを実行します。 このマップには、過去数か月間に完了したフィールドミッションが100万ポイント以上表示されています。
トロカがアリスをモダンで機知に富んだものにする方法
毎日数百万人がアリスと話します。 誰もが自分のタスクを解決します。彼は天気を学び、情報を受け取り、ただチャットするだけです。 アリスが全員を理解して助けるためには、スピーチを認識することを学ぶ必要があり、これには多くのデータが必要です。
Tolokaはこのデータの収集を支援します。 たとえば、タスクの1つは、録音した音声を聞いて解読することです。 トーカーの約1時間の操作で、5時間のタグ付きオーディオ録音を取得できます。
音声録音を認識するように人に頼む場合、彼の間違いは誤って認識された単語の5-6％になります。 1つのタスクを複数のパフォーマーに与えると、最適なオプションを選択することが可能になります。 最終データのエラーは1〜2％に減らすことができます。
ユーザーが言ったことを理解するだけでは十分ではありません。 あなたはまだ正しく答える必要があります。 アリスの答えには品質のいくつかの側面があります。 彼女は適切に応答し、「あなた」のためにユーザーに連絡せず、失礼にならず、男性的な方法で自分自身について話さないでください。 これらのメトリックはすべて、Tolokのタスクとして表されます。 トロッカーは、応答に示されたプロパティのいずれかが含まれているかどうかを判断します。
しかし、常に品質の側面を形式化できるわけではありません。 したがって、音声合成は自然であり、正しいイントネーションがあり、技術的な欠陥はありません。 これらは、評価モデルの形で想像するのが難しい主観的なパラメーターです。 したがって、Tolokでは、演奏者は1つのフレーズの2つのバージョンを聞いて、最適なものを選択するように求められます。
ルールに従って全員をYandex.Busesでプレイさせる方法
Yandex.Busesは、乗客と航空会社の両方にサービスを提供するサービスです。 停留所で乗客を迎え、チケットを発行せず、受け取ったお金を受け取る悪徳なドライバーがいる場合があります。 その結果、運送業者は収益を失います。これは、長いルートで非常に顕著です。
たとえば、ウファからモスクワまでのルート全体に沿ってコントローラーの作業を整理するのは非常に費用がかかります。 運転手が途中で誰かを選んでいる場合、乗客に電話をかけ、バスに何人乗っているかを尋ねるのは非効率的です。 もう1つの方法は、バスの入り口に人カウンターを設置することです。 しかし、多くの停車地がある長距離では、人々は絶えず出入りするため、目に見えるエラーが発生します。 「失われた」各人は、フライトの収益の2.5〜10％を失う可能性があります。 さらに、ドライバーはセンサーを覆うことにより、キャリアを簡単にだますことができます。
Yandex.Busチームは、広角IPカメラをバス上のルーターに取り付け、定期的に客室の写真を撮り、それを制御室に送ることにしました。 そのため、フライトごとに写真が蓄積され、キャビンに何人の乗客がいるのかを見ることができます。 ちなみに、乗客の顔はすべてアルゴリズム的に「洗い流されて」います。 写真の処理方法、つまり乗客の数を数える方法を学ぶことは残っています。 この段階で、問題が発生しました。撮影は、多くの場合暗闇の中で動きながら行われるため、必ずしも高品質であるとは限りません。 また、バスにはカメラが1台しかなく、顔が常に写真に乗るとは限りません。 そのような画像に写っている人の数を数える既製のモデルを見つけることはできませんでした;自分で書くには長すぎます。
開発者はトロカーに頼りました。 サロンの写真は、彼らの人数を数えるタスクとともにトロカに送られます。 ソリューションのコストは150ドル未満です。 1回の飛行を計算するには、7ルーブルが必要です。
実験は300便の4つのバスで行われました。 収益の9％が運送業者に回ったことが判明しました。 現在、より多くのYandex.Busキャリアがこのシステムに接続しています。
100,500人のモデレーターを雇って節約：ランブラーグループの経験
Rambler Groupは、ニュースフィードやテーマサイトを含む20以上のプロジェクトを開発し、各プロジェクトでユーザーがコメントを残しています。 これにより、サイトで費やされる時間とビューの深さが増加します。これはリソースにとって有益です。
しかし、コインには別の側面があります。出版物はコメントの内容に責任があります。 それらを確認するには、モデレーターのスタッフが必要です。 コメントは常に表示されるため、モデレーターは24時間体制で作業する必要がありますが、これは高価で非常に困難です。
解決策を求めて、Rambler GroupはTolokに頼りました。 最初に、彼らは実験を開始しました：彼らは通常のモデレーターによって処理された24,717個のコメントを選択し、これらのコメントの実際のフローをTolokaに再作成しました。 1つのタスクに10個のコメントが含まれ、処理に3分が与えられました。 モデレーションの品質を制御するために、1つのタスクが3人のパフォーマーに提供されました。 コストは最低-1セントに設定されました。
結果：
Rambler Groupのリソースにはポストモデレーションシステムがあります。コメントはすぐにサイトに送られます。間違ったコメントはできるだけ早く削除する必要があります。 判明したように、tolokerは1分あたり10件のコメントと通常のモデレーター-12を処理します。さらに、実験では、各出版物のモデレーターのスタッフを維持するよりもtolokersのサービスを使用するほうが60％収益が高いことが示されました。
実験は成功したと見なされましたが、条件は少し変わりました。 1人のタスクが2人のパフォーマーに提供されるようになりました。意見が分かれば、3人目のパフォーマーがつながります。 課題のコメント数が10から15に増加しました。これにより、コストをさらに35％削減できました。
APIを使用して、コメントは自動的にTolokaに送信され、モデレートされ、評決とともに返されます。 現在、ランブラーグループのすべてのプロジェクトに関するコメントは、Tolokaを通じて管理されています。