多くの場合、特に特別なトレーニングが必要ない場合は、YandexクラウドソーシングプラットフォームであるTolokaの執行者がそのような作業を行うことができます。 このシステムは簡単に拡張できます。ある顧客からのタスクが少ない場合、他のユーザーが別のユーザーに移動し、タスクの数が増えた場合、彼らは満足するだけです。
カットの下には、TolokaがYandexや他の企業の製品開発をどのように支援するかの例があります。 すべての見出しはクリック可能です-リンクはレポートにつながります。
チャットボットとチャットして最適なものを選択：MIPTエクスペリエンス
MIPTは、DeepHack.Chatハッカソンの一環として、Tolokaを使用してチャットボットの品質を評価しました。 6つのチームが関与しました。 タスクは、与えられたプロファイルに基づいて自分自身について話すことができるチャットボットを開発し、個人の特徴を簡単に説明することでした。
Tolokersとボットはプロファイルを受け取り、そこで説明が与えられた会話のふりをし、自分自身について話し、対話者についてさらに学ぶ必要がありました。 対話の参加者は、お互いのプロフィールを見ませんでした。
ハッカソン内のすべてのチャットボットは英語を話すため、英語の知識のテストに合格したユーザーのみがタスクに許可されました。 Tolokaを介してボットと直接対話することは不可能だったため、タスクにはチャットボットが起動されたTelegramチャネルへのリンクがありました。
ボットと会話した後、ユーザーはダイアログIDを受け取り、ダイアログの評価とともに、回答としてTolokaに挿入されました。
不正なtolokerを除外するには、ユーザーがボットとどれだけうまく話したかを確認する必要がありました。 これを行うために、彼らは別のタスクを作成しました。このフレームワークでは、実行者がダイアログを読み、ユーザーの行動、つまり前のタスクのシューティングゲームを評価しました。
ハッカソン中に、チームはチャットボットをアップロードしました。 日中、tolkersはそれらをテストし、品質を考慮し、チームにスコアを通知した後、開発者がシステムの動作を編集しました。
4日間で、ハッカソンシステムは大幅に改善されました。 初日には、ボットは不適切で重複した回答を持ち、4日目には、回答がより適切で詳細になりました。 ボットは質問に答えるだけでなく、自分で質問することも学びました。
ハッカソンの初日のダイアログの例：
4日目：
統計：評価は4日間続き、約200人のトロッカーが参加し、1800件の対話が処理されました。 最初のタスクに180ドル、2番目のタスクに15ドルを費やしました。 有効なダイアログの割合は、ボランティアで作業する場合よりも高いことが判明しました。
周囲の物体を認識するためにドローンを教える方法
ドローンの作成者の重要なタスクは、センサーから受信したデータから周囲のオブジェクトに関する情報を抽出することを教えることです。 旅行中、車は周りに見えるものをすべて記録します。 このデータはクラウドに注がれ、そこで主要な分析が行われ、その後、マークアップを含む後処理に進みます。 ラベル付きデータは機械学習アルゴリズムに送信され、結果が機械に返され、サイクルが繰り返され、オブジェクト認識の品質が向上します。
市にはさまざまなオブジェクトがたくさんあり、それらすべてをマークアウトする必要があります。 このタスクには特定のスキルが必要であり、多くの時間がかかり、ニューラルネットワークのトレーニングには数万枚の写真が必要です。 これらはオープンなデータセットから取得できますが、海外で収集されるため、画像はロシアの現実に対応していません。 タグ付きの画像を4ドルで購入できますが、Tolokのマークアップは約10倍安くなりました。
Tolokでは、任意のインターフェースを埋め込み、APIを介してデータを転送できるため、開発者は、レイヤー、透明度、選択、拡大、クラスへの分割を行う独自のビジュアルエディターを挿入しました。 これにより、マークアップの速度と品質が数倍向上しました。
さらに、APIを使用すると、タスクをより単純なタスクに自動的に分割し、ピースから結果を収集できます。 たとえば、画像をマークアップする前に、どのオブジェクトがその上にあるかをマークできます。 これにより、画像をマークするクラスを理解できます。
その後、画像内のオブジェクトを分類できます。 たとえば、撮影者に人物のいる写真を選択して提供し、これが歩行者、自転車、オートバイ、または他の誰かであるかどうかを明確にするように依頼します。
tolkerがマークアップを完了したら、チェックする必要があります。 これを行うために、他の実行者に提供されるテストタスクが作成されます。
トローカーだけでなく、ニューラルネットワークもマーキングに従事しています。 そのうちの何人かは、このタスクに対処する方法をすでに人々よりも悪く学んでいない。 しかし、彼らの仕事の質も評価する必要があります。 したがって、タスクでは、tolokerでマークされた画像に加えて、ニューラルネットワークでマークされています。
そのため、Tolokaはニューラルネットワークの学習プロセスに直接統合され、すべての機械学習のパイプラインの一部になります。
Ozon Online Storeでの検索品質の評価
OzonはTolokaを使用して参照サンプルを作成します。 これはいくつかの目的のためです。
•新しい検索エンジンの品質評価。
•最も効果的なランキングモデルの決定。
•機械学習を使用して検索アルゴリズムの品質を改善します。
最初のテストサンプルは手動で作成されました。100件のリクエストを受け取り、自分でマークしました。 このような小さなサンプルでも、検索の問題を特定し、評価基準を定義するのに役立ちました。 同社は、検索の品質を評価し、評価者を雇い、トレーニングするための独自のツールを作成したかったのですが、時間がかかりすぎるため、既成のクラウドソーシングプラットフォームを選択することにしました。
登山者向けの課題を準備する最も困難な段階はトレーニングでした-会社の従業員でさえ最初のテスト課題を行うことができませんでした。 チームからのフィードバックを受けて、新しいテストを開発しました。シンプルなものから複雑なものまでトレーニングを構築し、会社のパフォーマーの重要な資質を考慮してタスクをコンパイルしました。
エラーを排除するために、Ozonはテストを実施しました。 タスクは、トレーニング、正解の60％のしきい値を持つコントロール、および正解の80％のしきい値を持つメインタスクの3つのブロックで構成されました。 サンプルの品質を向上させるために、5つのパフォーマーに1つのタスクが提供されました。
テスト実行統計：40分で350タスク。 予算は12ドルでした。 最初のステージには147人のパフォーマーが参加し、77人がトレーニングを完了し、12人がスキルを獲得し、メインタスクを実行しました。
メインローンチのシナリオはより複雑になりました。新しいトーカーだけでなく、テスト段階で必要なスキルを習得した人も含まれていました。 1つ目は標準チェーンに沿って進み、2つ目はすぐに主要なタスクを受け入れました。 メインの打ち上げでは、追加のスキルが追加されました-メインのサンプルの正解の割合と多数意見。 割り当てはまだ5人のパフォーマーに提供されました。
主な打ち上げ統計：1か月で40,000のジョブ。 予算は1150ドルに達しました。 1117人のトレーナーがプロジェクトに参加し、18人がスキルを獲得し、6人が最大のメインプールにアクセスして評価しました。
OzonのTolokのミッションは次のようになります。
請負業者は、検索結果から検索クエリと9つの製品を確認します。 彼の仕事は、「適切」、「不適切」、「交換に適した」、「追加」、「開かない」のいずれかの評価を選択することです。 最終評価は、サイトの技術的な問題を特定するのに役立ちます。 ユーザーの行動をできるだけ正確にシミュレートするために、開発者はiframeを介してオンラインストアのインターフェイスを再作成しました。
Tolokaでのタスクの起動と並行して、ルールを使用して検索クエリのマークアップが実行されました。 主にクエリの発行を改善するために、一般的なクエリに重点が置かれました。
ルールによるマークアップにより、少数のクエリでデータを迅速に取得することが可能になり、上位のクエリで良好な結果が示されました。 しかし、マイナスもありました。あいまいなリクエストはルールで推定できず、多くの物議を醸す状況があります。 さらに、長期的には、この方法は非常に高価でした。
人々の助けを借りたマークアップは、これらの欠点をカバーしています。 Tolokでは、多数のパフォーマーの意見を収集することができます。評価はより段階的に行われるため、引き渡しをより深く行うことができます。 初期設定後、プラットフォームは安定して動作し、大量のデータを処理します。
肉体労働と人工知能のメカニズムは互いに対立しません。 人工知能が発達すればするほど、トレーニングにはより多くの手作業が必要になります。 一方、訓練されたニューラルネットワークが優れているほど、より日常的なタスクを自動化して、人を救うことができます。
ほとんどすべてのタスクも、膨大なタスクを多数の小さなタスクに分割し、クラウドソーシングに基づいて構築できます。 Tolokで解決されるタスクのほとんどは、人々が収集したデータのモデルを訓練し、プロセスを自動化する最初のステップです。
このトピックに関する次の出版物では、クラウドソーシングを使用してアリスを訓練し、コメントを管理し、Yandex.Busesでルールを実施する方法について説明します。