コンピューターに感覚を教えます（ロシア語での感情分析）

感情分析 （ロシア語では、調性分析）は、テキスト文書の意見や感情を研究するコンピューター言語学の分野です。 最近、機械学習を使用して調性を分析することに関する記事がハブに掲載されましたが、あまりにも構成が不十分だったため、自分のバージョンを書くことにしました。 そのため、この記事では、調性の分析とは何か、またロシア語に同様のシステムを実装する方法について、アクセス可能な方法で説明しようとします。

キー分析

調性の分析の目的は、テキストで意見を見つけ、その特性を決定することです。 タスクに応じて、たとえば次のような異なるプロパティに関心がある場合があります。

1. 著者-この意見の所有者
2. トピック-意見で言われていること
3. 調性-言及されたトピックに関する著者の位置（通常は「ポジティブ」または「ネガティブ」）

: "        –      ,       », —   " :   : "  " : ""
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

文献には、意見のモデルを形式化するさまざまな方法があります。 そのうちの1つを例として引用しました。 異なる用語も使用されます。 英語では、この研究分野は一般的に意見マイニングとセンチメント分析と呼ばれます （文字通り：「意見を求めて感情を分析する」）。 ロシアの記事では、「調性分析」という用語が通常使用されます。 調性は意見の特徴の1つにすぎないという事実にもかかわらず、今日最もよく研​​究されているのは調性を分類する作業です。 これにはいくつかの理由があります。

1. 著者とトピックの定義は、調性の分類よりもはるかに難しいため、最初に単純な問題を解決してから残りに切り替えるのが理にかなっています。
2. 多くの場合、調性を決定する必要があるのは、 他の特性はすでにわかっています。 たとえば、ブログから意見を収集する場合、通常、意見の著者は投稿の著者です。 著者を特定する必要はありません。 また、トピックをよく知っています。たとえば、Twitterで「Windows 8」というキーワードで検索する場合、見つかったツイートの調子を決定するだけです。 もちろん、これはすべての場合に機能するわけではなく、ほとんどの場合にのみ機能します。 しかし、これらの仮定により、すでに困難なタスクを大幅に簡素化することができます。

調性の分析は、さまざまな分野で実用的であることがわかります。

1. 社会学-ソーシャルからデータを収集します。 ネットワーク（例：宗教的信念）
2. 政治学-人口の政治的見解に関するブログからデータを収集します
3. マーケティング-Twitterを分析して、最も需要のあるラップトップモデルを見つけます
4. 医学と心理学-私たちは社会サービスのユーザーの間でうつ病を定義します。 ネットワーク

主要な分類アプローチ

調性の分析は通常、コンピューター言語学のタスクの1つとして定義されます。 自然言語処理ツール（タガー、パーサーなど）を使用して調性を見つけて分類できることが示唆されています。 大規模な一般化を行った後、既存のアプローチを次のカテゴリに分類できます。

1. ルールベースのアプローチ
2. 辞書ベースのアプローチ
3. 教師との機械学習
4. 教師なしの機械学習

最初のタイプのシステムは、システムがテキストの調性について結論を出す一連のルールで構成されます。 たとえば、「I love coffee」という文には、次のルールを適用できます。

   ("")      ("", "", "" ...)      ,     ""
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

高価であるという事実にもかかわらず、多くの商用システムはこのアプローチを使用しています。 システムが適切に機能するには、多数のルールを作成する必要があります。 多くの場合、ルールは特定のドメイン（「レストランの件名」など）に関連付けられており、ドメインを変更するとき（「カメラレビュー」）、ルールを再コンパイルする必要があります。 それにもかかわらず、このアプローチは、適切なルールのベースがあれば最も正確ですが、研究にはまったく興味がありません。



辞書ベースのアプローチは、いわゆる音調辞書（感情辞書）を使用してテキストを分析します。 簡単な形式では、音調辞書は各単語の調性値を持つ単語のリストです。 ロシア語に翻訳されたANEWデータベースの例を次に示します。

言葉	原子価 （1-9）
幸せな	8.21
いいね	7.47
つまらない	2.95
怒っている	2.85
悲しい	1.61

テキストを分析するには、次のアルゴリズムを使用できます。まず、テキスト内の各単語に辞書からの調性値を割り当て（辞書に存在する場合）、次にテキスト全体の全体的な調性を計算します。 全体の調性を計算するには多くの方法があります。 最も単純なのは、すべての値の算術平均です。 より複雑なのは、分類器（たとえば、ニューラルネットワーク）をトレーニングすることです。



教師による機械学習は、研究で使用される最も一般的な方法です。 その本質は、事前にマークされたテキストのコレクションで機械分類器をトレーニングし、その後、結果のモデルを使用して新しいドキュメントを分析することです。 この方法については後で説明します。



教師なしの機械学習は、おそらく最も興味深いと同時に、音調を分析するための最も正確でない方法です。 この方法の1つの例は、自動ドキュメントクラスタリングです。

教師との機械学習

調性分析システムを作成するプロセスは、機械学習を使用して他のシステムを作成するプロセスと非常に似ています。

1. 分類器をトレーニングするためのドキュメントのコレクションを収集する必要があります
2. トレーニングコレクションの各ドキュメントは、特徴ベクトルとして表す必要があります
3. 各ドキュメントに対して、「正解」を指定する必要があります。つまり、 調性のタイプ（たとえば、正または負）、これらの回答に従って、分類器は訓練されます
4. 分類アルゴリズムの選択と分類子のトレーニング
5. 結果のモデルを使用する

クラスの数

調性を分割するクラスの数は、通常、システム仕様から指定されます。 たとえば、顧客は、「ポジティブ」、「ニュートラル」、「ネガティブ」の3種類の調性を区別するようにシステムに要求します。 研究では、調性のバイナリ分類の問題、すなわち 「ポジティブ」と「ネガティブ」の2つのクラスのみがあります。 私自身の経験から、調性を3つ以上のクラスに分類することは非常に難しい作業であると言えます。 3つのクラスであっても、使用するアプローチに関係なく、高い精度を達成することは非常に困難です。



タスクが3つ以上のクラスに分類することである場合、分類器をトレーニングするために次のオプションが可能です。

• フラット分類 -すべてのクラスに対して1つの分類子のみをトレーニングします
  
  
  
  
• 階層的な分類 -クラスをグループに分割し、いくつかの分類子を訓練してグループを定義します。 たとえば、5つのクラス（「強陽性」、「中陽性」、「中立」、「中陰性」、「強陰性」）がある場合、まず中立テキストと主観テキストを分離するバイナリ分類子を教えることができます。 次に、肯定的な意見と否定的な意見を分ける分類器を訓練します。 そしてその結果、強く表現された意見を平均的な意見から分離する分類器。
  
  
  
  
  
  
• 回帰 -分類器を訓練して、たとえば1から10までの調性の数値を取得します。ここで、値が大きいほど、より正の調性を意味します。

通常、階層分類はフラットよりも優れた結果をもたらします。 各分類子について、結果を改善できる機能のセットを見つけることができます。 ただし、トレーニングとテストには多くの時間と労力が必要です。 本当に多くのクラス（5つ以上）がある場合、回帰はより良い結果を示すことができます。

機能の選択

結果の品質は、分類子にドキュメントをどのように提示するか、つまり、特徴ベクトルのコンパイルに使用する特性のセットに直接依存します。 compタスクでドキュメントを表示する最も一般的な方法。 言語学と検索-これは、単語のセット（bag-of-words）またはN-gramのセットのいずれかです。 たとえば、「I love love black coffee」という文は、ユニグラム（I、love、black、coffee）またはバイグラム（i love、love love black、black coffee）の形式で表示できます。



通常、ユニグラムとバイグラムは、次数の高いNグラム（トライグラム以上）よりも良い結果をもたらします。 ほとんどの場合、トレーニングサンプルは最大次数のN-gramを数えるほど大きくありません。 ユニグラム、バイグラム、およびそれらの組み合わせを使用して結果をテストすることは常に意味があります（黒が大好き、コーヒー、大好き、黒が大好き、ブラックコーヒー）。 データの種類によっては、ユニグラムはバイグラムよりも優れた結果を示すことができますが、その逆も可能です。 また、ユニグラムとバイグラムの組み合わせにより、結果が改善される場合があります。









テキストを表すもう1つの方法は、文字N-gramです。 例のテキストは、「I love」、「love」、「fuck」、「fuck」などの4文字のN-gramの形式で表すことができます。 この方法はあまりにも原始的に見えるかもしれないという事実にもかかわらず、 一見、文字セットにはセマンティクスが含まれていませんが、この方法ではNグラムの単語よりも優れた結果が得られる場合があります。 よく見ると、文字のNグラムは単語の形態素にある程度対応しており、特に単語のルート（「愛」）がその意味を持っていることがわかります。 文字N-gramは、次の2つの場合に役立ちます。

1. テキストにスペルミスがある場合、エラーのあるテキストの文字セットとエラーのないテキストの文字セットは、単語とほとんど同じです。
2. 豊かな形態の言語（ロシア語など）-テキストには同じ単語がありますが、異なるバリエーション（性別または数の違い）がありますが、単語の語根は変わらないため、一般的な文字セットです。

文字N-gramは、N-gramの単語よりもはるかに少ない頻度で使用されますが、結果が改善される場合があります。



また、品詞、句読点（笑顔の存在、テキスト内の感嘆符）、テキスト内の否定の存在（「いいえ」、「いいえ」、「決して」）、間投詞などの追加機能を使用することもできます。

加重ベクトル

特徴ベクトルをコンパイルする次のステップは、各特徴に重みを割り当てることです。 一部の分類子では、たとえば、ベイジアン分類子の場合、これはオプションです。 彼自身が兆候の確率を計算します。 ただし、サポートベクトル法を使用する場合、重みを設定すると結果が大幅に改善されます。



情報検索において、特徴の重みを推定する最も一般的な方法はTF-IDFです。 調性分析の場合、この方法では良い結果が得られません。 この理由は、調性の分析では、検索タスクとは対照的に、テキストで頻繁に繰り返される単語（つまり、TFの高い単語）はそれほど重要ではないためです。 したがって、通常はバイナリの重みが使用されます。つまり、属性（ユニグラムを使用する場合、単語）にテキストに存在する場合、単位の重みが割り当てられます。 それ以外の場合、重みはゼロです。 たとえば、「I love black coffee」は次のベクトルとして表示されます（重み= 0の単語は省略します）。

 {"": 1, "": 1, "": 1, "": 1}
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

しかし、 デルタTF-IDFなど、調性の分類においてはるかに優れた結果をもたらす単語の重みを計算する単語の重要性を評価する方法があります。

分類子の実装

私は、Pythonで映画をレビューするための単純な調性分類器を実装しました。 データはキノポイスクから収集されました 。 500の肯定的なレビューと500の否定的なレビューが選択されました。 分類アルゴリズムとして、 単純ベイズ分類器 （NB）とサポートベクトル法 （SVM）を使用しました。 ユニグラム、バイグラム、およびそれらの組み合わせを符号として、および重み関数としてテストしました。ベイとSVMのバイナリ関数、SVMのデルタTF-IDFです。 分類器のパフォーマンスを評価するために、 クロスチェックを実施しました。パラメーターのセットごとに、5つのテストが連続して実行され、各テストで800のレビューと200のテストを使用しました。 以下は、9セットのパラメーターすべての結果（パーセント単位の精度）です。

サイン	NB	SVM	SVM +デルタ
ユニグラム	85.5	82.5	86.2
バイグラム	84.9	86.5	87.8
組み合わせ	86.5	88.4	90.8

結果から、このコレクションの場合、重み関数デルタTF-IDFを使用したサポートベクターメソッドによって最良の結果が表示されることがわかります。 通常のバイナリ関数を使用する場合、両方の分類器（NBおよびSVM）はほぼ同じ結果を示します。 ユニグラムとバイグラムの組み合わせは、すべてのテストでより良い結果をもたらします。



デルタTF-IDFが結果にこのようなマージン（2.4-4.3％）を与える理由を見てみましょう。 最大デルタTF-IDFモジュロのN-gramを選択します。

すごい	5.20	振る舞う	-5.02
依存する	5.08	なんらかの理由で	-4.80
受け入れる	4.95	失敗した	-4.80
作成する	4.80	どちらについても	-4.71
働く	4.80	感動しなかった	-4.71
慎重に	4.71	セックスする	-4.71
私自身	4.71	より悪い	-4.71
キム	4.62	でもこれ	-4.71
スリラー	4.62	撮影された	-4.62
彼女のために	4.51	見ないで	-4.62

負のN-gramの例では、その重みが負の調性を反映していることが特に顕著です。

実用化

調性分類器の実際の応用例として、ツイートの分類器をすばやく作成しました。そのスキームは次のとおりです。

1. 映画のタイトルをTwitterで検索する
2. 調性分類器によるツイートのスキップ
3. Twitterから映画について肯定的および否定的なコメントを得る

アナライザーの例：

 alexpak@dard:~/projects/pyrus$ src/sentiment/test.py "" 1. pos    !    / Sur la piste du Marsupilami (2012) DVDRip http://t.co/to5EuTHL 2. neg       !    (2012)! 3. pos     " !  "   4. pos  !   .  :) 5. pos  !    - Sur la piste du Marsupilami (2012) HDRip http://t.co/UB1hwnHh 6. pos ,    .  ,   ) 7. pos   # 8. pos Went to the movies) watched the movie " !   ." http://t.co/EBlIsWMs 9. neg     ) 10. neg         ?!    11. pos  !    / Sur la piste du Marsupilami (2012) http://t.co/OoH3chso 12. pos  !    http://t.co/rb1BWurX 13. pos  !    http://t.co/rHorvtvu 14. pos  !    http://t.co/xNBHadIN 15. pos  !    http://t.co/33t35O35
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ご覧のとおり、結果はあまり満足のいくものではありません。 分類子は、2種類のエラーを作成します。

1. ニュートラルなツイート（映画の説明、ニュース、スパム）をポジティブ/ネガティブとして分類します
2. レビューのトーンを誤って分類する

最初のタイプのエラーは、ニュートラルツイートをフィルタリングする追加の分類子を追加することで修正できます。 これは簡単な作業ではありませんが、非常に実行可能です。 2番目のタイプのエラーは、主にツイートがトレーニングのコレクションとは非常に異なるという事実により発生します。スラング、スペルミス、言い方が異なります。 ここでは、分類子を訓練するために別のコレクションを探すか（たとえば、同じツイートを取る）、機能セットを改善する（たとえば、絵文字を追加する）必要があります。 しかし、全体として、この例は、Twitterで意見分析システムを作成することが非常に可能であることを示しています。

おわりに

意見分析システムの作成は困難な作業ですが、トレーニング用のデータがあり、ドメイン（トピック）が事前に定義されている場合は非常に実行可能です。 機械学習を使用する場合、さまざまなパラメーターをテストして、テストデータでより適切に機能するパラメーターを選択することが重要です。特に、さまざまな分類アルゴリズム（NB、SVM）、一連の機能（ユニグラム、バイグラム、シンボリックNグラム）、機能の重み付け関数をテストする必要があります。音調辞書、追加の言語機能（品詞など）、機械学習を向上させる一般的な方法（ブースト、バグなど）を使用するなど、音調の分類を改善する方法はまだたくさんあります。この記事では、基本的な方法のみを説明しようとしました。



いつものように、私は批判、質問、希望に喜んでいます。

ソースコード

オンラインデモ

よくある質問：

デモはレビューを誤って分類しました！

-はい、これは1日で書かれた単なるプロトタイプですが



、テキストに肯定的なフィードバックと否定的なフィードバックの両方が含まれている場合はどうなりますか？

-現在のアルゴリズムはそのうちの1つだけを分類し



ます。

-それは誤って分類されます（そして、コンピューターに何を期待しましたか？）