Mechanical Turk：スパムが40.92％になりました

最も人気のあるクラウドソーシングサービスMechanical Turkは、ますますスパムでいっぱいになりました。 より正確には、スパマーからのタスク。 マイクロペイメント向けのマイクロタスクソリューションを提供するこのサイトには、「私のサイトで広告をテストする」、「Twitterでアカウントを作成してフォローアップする」、「YouTubeでビデオを再生する」、「指定したアプリケーションをダウンロードする」、「ポジティブを書く」というスタイルのプロジェクトがすでに多数ありますレビュー」など。



NYUの生徒であるDan TamirとPriya Kantは、問題の大きさを見つけ、MTurkで保持されているスパム注文の量を正確に計算することにしました。 これを行うために、彼らはMechanical Turk Tracker統計を使用し、2010年9月と10月の市場を分析しました。



サンプルには、この2か月間に行われたすべての新規注文が含まれています（通常の顧客はスパマーではないと想定されます）。



この間、合計1733人の新規顧客が市場に登場し、5842件の注文を出しました。 その後、研究者は同じクラウドソーシング手法を使用して、これらの注文を「スパム」または「スパムではない」として分類し、スパムと見なされるものに関する詳細な指示（タスクにはSEO、偽のアカウント、偽のクリック、偽の広告、特定のアクションが含まれ、顧客のウェブサイト、請負業者の個人データのリクエストなどがあります）。



ここで何が起こったのかです。



5841の確認済みジョブのうち、40.92％がスパムでした。







その後、研究者は、通常の顧客からスパムが送信される頻度を確認しました。 それは判明した-そのようなことは何もない。 スパムジョブの大部分は、ジョブの100％がスパムである特別なカテゴリの顧客からのものです。







統計によると、新規顧客の31.83％がスパムのみの仕事をしています。 つまり、明確な境界がここに表示されます。



したがって、新規顧客の31.83％がスパマーであり、新規雇用の40.92％が純粋なスパムであることがわかりました。 明らかに、これは問題です。



品質特性の点でも、スパムは通常のタスクとは異なります。 まず、各セット（HIT）のスパマーのジョブ（HIT）が少なくなっています。







第二に、彼らはいつもよりも仕事を大切にします（彼らはお金を払わないので？）。 平均して、このサービスの仕事の80％はドルより安いのに対して、スパマーはその60％しか持っていません。







AmazonがMechanical Turkサービスでスパムと戦っていない理由は明らかではありません。 結局のところ、キーワードで認識するのは非常に簡単です。 考えられる説明の1つは、スパマーが注文の履行に対して実際に支払いを行い、Amazonがその割合を愚かに得るというものです。 上記の統計から判断すると、スパマーはサービスの全収入の約半分を提供しています。



もう1つの説明は、Amazonがプロジェクトの開発を放棄し、そこで何が起こっているのかわからない、または気にしないというものです。 このサービスは、2005年以降、ほぼそのままの形で単独で動作しています。 このオプションに対する最近の発見は、 TwitterとMTurk ブログです。