Trolling Detector:スピーチアナライザーによる生産性の向上方法





現代の世界では、企業のトローリングはスパムと同じくらい一般的です。 「タイムイーター」の評価では、トロルが第一位であり、ポイントは離婚している人が多すぎるだけでなく、スパムとは異なり(非常に効果的なツールがすでに登場しているのに対して)、企業トロルが模倣している通常のオフィスワーカーの場合、そしてトローリングのトピックは、実際に作業内容に基づいています。 したがって、従業員の単純な「トロール」への欲求を実質的な生産的紛争と区別することは非常に困難な場合があります。



Mail.Ru Groupの内部リソース効率部門は、トローリングと生産的な通信を区別する方法を見つけました。AntiTrollソフトウェアおよびハードウェアコンプレックスを作成し、テストして、その有効性を確認しました。 カットの下の詳細。



まず、トロルとのコミュニケーションは、トロル自体(沼地のように淡水が注がれるにつれて広くなる)だけでなく、議論に参加する従業員の効果も低下させることに言及することはできません。 したがって、有効性の低下は、多くの場合、疫学的な(ウイルス性の)性質のものです。



トローリングのレベルを決定するために、私たちは談話分析に突入し、チームメンバーが使用する言語を研究しました(開発者が使用する用語については、 こちらで説明しました



この分析の過程で、言語の形式とその機能の両方が調べられました。 ソース素材は口語スピーチおよび文章であり、さまざまなテキストおよび口頭スピーチのタイプの知覚の言語的特徴を特定しました。



書かれたテキストの分析には、トピックの開発と、文間の意味的なつながり(カップリング)の研究が含まれていました。 Mail.Ru Searchのメンバーは、この方向で私たちを大いに助けてくれました。







口語スピーチの分析は、上記の側面と、段階的な相互作用、社会的相互作用のシーケンスの開始と終了、または物語の構造の両方に基づいていました。



AntiTroll数学装置を開発しているワーキンググループは、情報を処理する際に、心理言語学、社会言語学、社会学、解釈学、社会心理学、さらには人類学までを真剣に研究しなければなりませんでした)



数学的装置の開発と並行して、分析用のデータを収集しました。

ユーザビリティ研究所はこれに接続されていました。 短い適応期間の後、ゲーム開発部門の従業員の実験グループが共通のプロジェクトについて話し始め、おとりのトロールの助けを借りて、議論は効果的なコミュニケーションの段階から伝統的なハリウッドのトピック(たとえば、Android vs iOSまたはWindows vs Linux)の低効率トローリングの段階に移りました。



ギガバイトのデータは、心拍数、呼吸、大脳皮質の活動、マイク、ビデオレコーダーの登録機関によって収集されました。 この初期情報は、上記の数学的装置に基づいて記述されたスクリプトに送られました。



スクリプトの結果は、単一の数値(トローリングレベル)になります。



スクリプトを28ビルドした後、このアイデアはほぼ破棄されました。スクリプトは、乱数ジェネレーターの結果に似た、奇妙な値を生成しました。 そして、別の重みベクトルを数学モデルに追加することにしました:「感情的関与のレベル」。 それは正確に「既存の、または起こりうる状況の主観的評価」と呼ばれます。 そして突然、第29回総会で「それ」が機能しました!



スクリプトは、トローリングレベルを非常に正確に決定し始め、誰かが生産的な議論の段階から言葉による先延ばしの段階に​​移行すると、トローリングレベルの数値は着実に増加しました。



過去7か月間、私たちはMail.Ru Groupの5つの部門でこのシステムをテストし、スクリプトを徐々に調整しましたが、現時点では96%でトローリングを決定する精度を達成しています。



テスト中に、ほとんどのhabrayuzerに知られている「バルマーピーク」の類似物が明らかになったことは興味深いです。 一定の値まで、トローリングは生産性にほとんど影響しませんが、Xの値に達すると、開発者は生産性が大幅に向上します(コミット数が増加し、バグの数が減少します)。 ただし、しきい値Xを超えると、生産性が急激に低下します。



この発見が実際に適用されるかどうかはまだ明らかではありません。このピークを達成するために必要なレベルで作業チームのトローリングのレベルを維持することは非常に難しいことは明らかです。



次のステップは、アンチトロールアラームの作成でした!ハードウェアとソフトウェアの複合体:







原則は非常に簡単です:会議室に配置されたマイクは、AntiTrollスクリプトを使用して常時実行中のサーバーに音声信号を送信し、高レベルのトローリングが検出されると、USB経由でサーバーに接続されたArduinoはAntiTrollアラームをオンにする信号を受信します! ディスカッションのトローリングのレベルがオフスケールになると、サイレンと点滅するビーコンが開始されます:







新しいシステムを複数の部門で3か月間テストしましたが、すでに肯定的な結果が得られています。コミット数が23%増加し、テスターが発見したバグの数が14%減少しました。



近い将来、すべての部門にこのシステムを導入し、私たちだけでなく市場の同僚も使用できるモバイルアプリケーションを完全に作成する予定です。



想像してみてください-計画セッションの前に、電話をテーブルの中央に置き、アプリケーションをオンにします。そして、議論が非建設的な方法に陥る瞬間を見逃す心配はありません...



ソースコードは、後でgithubに投稿されます



All Articles