キャンペーンを監視するタスクでの自然言語処理

この記事では、自然言語処理と機械学習を使用して、インターネットメディアのロストフ地域セグメントでキャンペーンを監視するための方法論を開発するプロセスを検討します。

タスクは非常に専門的であったため、特殊性とニュアンスについても説明します。興奮を割り当てる必要があり、法律に違反する可能性がある場合は、直ちに選挙委員会に通知してください。 将来を見据えて、このタスクにうまく対処できたと言います。



インターネットメディアのロストフ地域セグメントで選挙キャンペーンを監視するための方法論を開発するタスクでは、いくつかの関連する知識分野の開発が適用されます。

• 自動化されたワードプロセッシング（テキストマイニング）、
• 自然言語処理、
• 機械学習。

インターネットメディアのキャンペーン出版物のドキュメントの電子アーカイブを作成する場合、特定の実質的な基準に近いドキュメントがカテゴリ、ルーブリック、コレクション、クラスター、ストーリーなどと呼ばれるグループに結合されると、情報配列を合理化するタスクが発生します。



知的システムは、5回目の召集のロストフ地域の立法議会の議員の選挙中に、インターネットメディアのロストフ地域セグメントでの選挙キャンペーンを監視しました[1]。

システムは、地域のメディアサイトから自動的に電子出版物を見つけてダウンロードしました。 その後、特別に開発されたアルゴリズムに従って、テキスト配列の知的処理が実行されました。 アルゴリズムは、キャンペーンパブリケーションを識別する言語属性を使用して、各パブリケーションのポイントを獲得しました。 候補者に対するまたは反対のキャンペーンを含む出版物は、少なくとも10のスコアを持ちます。候補者に対するまたは反対のキャンペーンを含み、現在の法律に違反する可能性がある出版物は、少なくとも20のスコアを持ちます。

レポートはシステムによって毎日生成されました。 レポートはxlsxファイルに含まれており、スプレッドシートプログラムで開きます。



自動分類システムの作業の主な結果は次のとおりです。システムは、2013年8月9日付けのロストフ地域議会の議員の選挙に参加している候補者および選挙協会がホストするインターネットメディアのロストフ地域セグメントのプロパガンダ出版物を検出しませんでした。 報告期間の監視システムの指標は次のとおりです。

• メディアリソースの数：60
• 議員候補者数：1161
• 分析された出版物の総数：5000以上
• 監視期間全体で見つかった、法律に違反する可能性がある疑わしい出版物の数：5
• 選挙法に著しく違反していることが判明した出版物の数：0

インターネットメディアのロストフ地域セグメントでキャンペーンを監視するためのインテリジェントな自然言語データ処理の方法論を開発するために、演learning的な機械学習を使用して次の分類タスクを設定します。



多くのカテゴリ（クラス、ラベル）があります 。 キャンペーンテキストを含むメディア出版物を処理する場合、4つのクラスが区別されます。

1. 法律違反
2. 立法プロパガンダ出版
3. キャンペーン以外の情報公開
4. クラスが定義されていないパブリケーション（定義エラー）

インターネットメディアのテスト済み出版物のセットである多くのドキュメントがあり、クラスを決定する必要があります。 。 不明なターゲット関数 。 分類器を構築する必要があります に近い 。

タグ付きドキュメントの初期コレクションがあります 値がわかっているもの -本物のプロパガンダ出版物のセット。 コレクションは、「トレーニング」部分と「検証」部分に分かれています。 1つ目は分類器のトレーニングに使用され、2つ目は作業の品質を独立して検証するために使用されます。

分類子は正確な答えを出すことができます。 または類似度 。 類似度は、正しく分類されたドキュメントの割合です。



「トレーニング」サンプルを処理するために、いわゆる「単純な」（簡略化された）ベイズアルゴリズムが選択されました。 トレーニング速度、さまざまなデータの安定性、および実装のしやすさの点で、「単純な」ベイズアルゴリズムは、既知の効果的な分類アルゴリズムのほとんどすべてを超えています[3]。



アルゴリズムは、クラス属性の固定値を使用して、入力データのすべての属性の値の相対頻度を決定することにより訓練されます。 分類は、ベイズ規則を適用して、入力属性のベクトルの各クラスの条件付き確率を計算することにより実行されます。 入力ベクトルは、入力属性の特定の値に対して条件付き確率が最大になるクラスに割り当てられます。 アルゴリズムの「素朴さ」は、入力属性が条件ごとに（クラス値ごとに）互いに独立しているという前提にあります。 この仮定は非常に強力であり、多くの場合、不正であるため、「単純な」ベイズアルゴリズムを使用した分類効率の事実は予想外です。



単純ベイズ分類器の利点は、分類に必要なパラメーターを評価するために必要な少量のトレーニングデータです。

NBC（単純ベイズ分類器）は、ベイズの定理に基づいています。



どこで

• P（c | d）-ドキュメントdがクラスcに属する確率。計算する必要があります。
• P（d | c）-クラスcのすべてのドキュメント間でドキュメントdを満たす確率。
• P（c）-文書の本文でクラスcの文書を満たす無条件の確率。
• P（d）は、ドキュメント本文内のドキュメントdの無条件の確率です。

図1.攪拌制御方法論のモデル

図1は、Naive Bayes分類器による機械学習を実装する選挙キャンペーン制御方法論のアルゴリズムとモデル、およびそれによって生成された結果を補完および改善するキャンペーンの特別に開発された言語モデルを示しています。



モデルの段階を検討してください。



1. 文書の索引付け。 最初の段階では、インターネットメディア出版物の自動収集とDBMSへの蓄積が、後続の処理のために実行されます。

2. 分類子の構築とトレーニング。



2.1 トレーニング。 動揺属性の配列は、信頼できるキャンペーン出版物の配列と区別されます。 単純ベイズ分類器を使用すると、最も有益な属性を識別し、コンテキストを考慮してそれらを変更できます。



2.2 予測。 「予測」のプロセスでは、属性の配列がインターネットメディア上の一連のテストパブリケーションにマップされます。 インターネットメディアのロストフ地域セグメントでキャンペーンを監視するための方法論を作成する研究問題を解決する過程で、キャンペーン出版物の言語モデルが開発されました。 このモデルは、キャンペーンパブリケーションのトレーニングセットでの機械学習モジュールの結果を補完し、キャンペーンの特別な言語属性と以下に説明するルール[5]を評価に追加します。



3. 分類の質の評価。 その結果、方法論は、出力がインターネットメディア出版物の定性的にマークされた配列であることを保証します。



インターネットメディアのロストフ地域セグメントでの選挙キャンペーン用の一連の監視ツールのソフトウェアコンポーネントを検討してください。 次のライブラリのセットを使用します。

• 自然言語ツールキット（NLTK）[2]
• 正規表現ライブラリ（再）
• 本物のプロパガンダ素材の軍団（素材）
• ランダム変数のライブラリ（ランダム）

正規表現（RV）は、基本的にPythonに組み込まれた小さなプログラミング言語であり、reモジュールからアクセスできます。 これを使用して、チェックが必要な可能性のある一連の行に対してルールが指定されます。 このセットには、単語、フレーズ、数字、またはメールアドレスが含まれる場合があります。 また、正規表現を使用して行を変更したり、候補者や関係者の長いリストを自動的に処理するために部分に分割したりする機能も使用されます。 自動ベイジアン分類器の結果、一連の特別な言語構成（パターン）がバイグラム（2語）の形式で取得されました。



インターネットメディアのロストフ地域セグメントにおける選挙キャンペーン管理用のソフトウェアパッケージには、最も有益な属性を表示する機能も含まれています。 リスト1は、このような属性を5つ示しています（以下、プログラムコードの断片を示します）。 各属性について、頻度の応答が利用可能であり、キャンペーンテキストの決定においてこの属性またはその属性がどのように「成功」​​したかを示します。 たとえば、候補者の姓と任意の形式の「vote」という単語の組み合わせがテキストで見つかった場合、分類子は、指定されたテキストが1キャンペーンの確率でほぼ26の確率を持っていると結論付けます（パーセンテージで96.1％）。

classifier.show_most_informative_features(5) Most Informative Features suffix(4) = ('', '') agitacia : ne_agitacia = 25.9 : 1.0 suffix(4) = ('', '') agitacia : ne_agitacia = 17.0 : 1.0 suffix(2) = ('', '') agitacia : ne_agitacia= 11.5 : 1.0 suffix(1) = ('', '') ne_agitacia : agitacia = 6.3 : 1.0 suffix(2) = ('', '') ne_agitacia : agitacia = 4.4 : 1.0
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

リスト1.ベイジアン分類器の結果：2つの単語とそれに対応する興奮の確率が見つかりました。



問題のステートメントで上記の4つのクラスを識別する問題を包括的に解決できるかどうかを理解するために、自動分類の結果をより詳細に検討する価値があります：違反のない動揺、法律違反の動揺、情報公開 分類子の結果を分析した後、プロパガンダ出版物を情報出版物から分離するタスク、つまり、さまざまな役人の仕事、レポートや会議でのイベントやスピーチを説明するタスクにうまく対応していることが明らかになりました。 さらに、監視の主なタスクは、法律に違反する可能性のあるキャンペーンを含む出版物を特定することであり、このタスクはより複雑です。 ベイジアン分類子の自動化はこのタスクにうまく対応していません。主な理由は、ロシア語の構成の複雑さ、およびプロパガンダテキストでよく使用される感情的に色付けされたフレーズ、隠meta、all話、ヒントの存在です。 したがって、法律の違反が存在するかどうかを判断する精度は、追加の属性を使用して高める必要があります。



科学調査の結果、選挙運動中に選挙運動の言語モデルが実施されました。 モデルの各言語属性には、言語構造の重要性を反映する重み係数が含まれています。 したがって、モデルは、属性の数に応じた、n次の多項式の積の合計です。







または省略形：







ここで、anは属性の重要度の固定係数（ポイント）です。

x-変数、プロパガンダ言語属性の組み合わせがテキスト内に何回あるか。



このモデルには、開発されたハードウェアとソフトウェアの複合体[1]によって自動的に検出される言語構造である特別な属性のセットが含まれています。

• 候補者、候補者、リスト、候補者のリストに投票するか、彼に反対する（それら）
• 候補者、選挙協会、特にどの候補者、どの候補者リスト、投票者が投票するかを示す表示（世論調査の結果の公表（公表）の場合を除く）;
• 1人または別の候補者が選出された場合、または選出されない場合、起こりうる結果の説明。特定の候補者リストが認められるか、代理の委任を配布することは許可されません。
• 候補者に関する情報が明らかに支配的である情報の普及、肯定的または否定的なコメントと組み合わされた選挙協会。
• 候補者の活動に関する情報の配布。候補者の専門的な活動や、彼による公式（公式）職務の遂行とは関係ありません。
• 候補者、候補者を指名した選挙協会、候補者のリストに対する有権者の肯定的または否定的な態度の創造を促進する活動。
• インターネットメディアの素材の支払いに関するメモ。

モデルの基礎は、候補またはその他の場合にキャンペーンテキストに表示される名前の候補者の完全なセットです。 以下、会議の姓の簡単な説明のために、パーティー<パーティー>に指定<名前>が使用されます。



ソフトウェアの実装では、候補者と関係者の基本的な言及は次のように実装されます。

  if re.search(re.compile('\b(?:%s)\b' + '|'.join(map(re.escape, kandidats_all))), corpus.raw(fileid)): dict_features[fileid][' '] = 10 else: dict_features[fileid][' '] = 0 if re.search(re.compile('\b(?:%s)\b' + '|'.join(map(re.escape, partii_all))), corpus.raw(fileid)): dict_features[fileid][' '] = 1 else: dict_features[fileid][' '] = 0
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

リスト2.プログラム関数のフラグメント：候補者と関係者を探します。



モデルの特徴はポイントシステムです。テキストで見つかった各特殊属性の各パブリケーションには、特定のポイント数が割り当てられます。 たとえば、テキストで候補が言及されている場合、出版物はすぐにしきい値として10ポイントを取得します。 出版物が立法議会にも言及している場合、ポイントの合計数は12です。したがって、ポイントの数により、出版物の法律に違反する潜在的可能性を簡単に判断できます。出版物の得点が10ポイント未満の場合、これは、それは情報であり、政治的なテキストの属性が含まれていますが、各属性の寄与は大きくありません：1または2ポイント。 パブリケーションが12ポイントを超える場合、候補者の名前に加えて、興奮の属性も含まれるため、コンテンツをより慎重に分析する必要があります。 17ポイント以上の出版物はプロパガンダであることが実質的に保証されていると認められましたが、それぞれのシステムでロストフ地域の議会への選挙に関する法律との関連性と関連性が示されました。



キャンペーンテキストで使用される戦術の生産的なモデルについて説明し、分類プログラムコード[4]で実装されたこれらの戦術を実装する最も頻繁に使用される特殊な言語構成要素もリストします。

言語構成「自己提示」。 「正義の労働で石室を作ることはできない」、「贈り物は贈り物を愛する」、「贈り物は贈り物を待っている」という言い回しの言葉の民俗要素の使用は、候補者のコミュニティを聴衆（普通の人々）と示し、彼女と同じ言語で考える能力を実証します

言語構成「動機」。 動きは人気があります：私（有権者のような）は現状に満足していません。 これを次のように変更します。1）変更する必要があるため、下院に行きます。 2）難しい質問を提起する人々が現れるはずなので、下院を社会に役立ててください...」

言語構成「約束」。 この言語構​​造により、テキスト内の「約束」を自動的に見つけることができます。 潜在的な候補者の名前のセットと組み合わせて、構成体の使用は次のようになります：<私は約束します、私は意図します、私は意図します（a）、私は保証します、私は誓います> + <姓>

言語構造「権威の誘致」。 「信頼できる意見」は、視聴者に影響を与える強力なツールです。 権威（影響力のある尊敬される人-[6、p。15]）の役割は、「影響の対象」が意見を聞く個人によって演じられます。 この言語構​​造により、テキスト内のサポートおよびロビー構造を自動的に見つけることができます。

言語構成体の「ins辱」。 信用低下戦略は、いわゆる「ダウングレード戦略」です。 政治的な競争相手を対象としており、肯定的なイメージを破壊したり、「相手」の既存の否定的なイメージを強調するために使用されます。

言語構成「動揺の合法性」。 特別な属性を使用して、メディアへの掲載に対する支払いの事実を自動的に検証します。 主なマーカーは、さまざまな基金での立法議会への言及と、出版物の支払い元の表示です（リスト4）。

  if re.search(r'(    )|([--][--][--] [--]  [--])', corpus.raw(fileid), re.IGNORECASE): dict_features[fileid][' '] = 2 else: dict_features[fileid][' '] = 0 if re.search(r'([--][--][--] [--][--])', corpus.raw(fileid), re.IGNORECASE): dict_features[fileid][' '] = 2 else: dict_features[fileid][' '] = 0
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

リスト4.ソフトウェア関数のフラグメント：支払いファクトの言及を見つける。



言語構成「比image的なイメージ」。 芸術的スピーチのように、政治的言説における隠phorは類推に基づいています;ここでは、特定の主題の類推が特に特徴的であり、関連しています：

戦争と闘争（ストライキ、戦いに勝つ）、

ゲーム（ムーブする、ゲームに勝つ、カードにベットする、ブラフする、切り札を保存する）、

スポーツ（ロープを引っ張る、ノックアウトする、両方の肩甲骨を装着する）、

狩猟（trapにかけられ、誤った道を導く）、メカニズム（権力のレバー）による、

生物（成長病、民主主義の芽、都市の内部改善）、

劇場（主役を演じる、人形になる、エクストラ、プロンプターになる、舞台の前に行く）など



キャンペーン資料では、「標準のセット」のメタファーを見ることができます：「その足跡をたどりました」、「キャリアの梯子全体を通り抜けました」、「障壁を置く必要があります...」、「都市（国...）の運命があなたの手にあります」。 この言語構​​造により、テキスト内の比phor的な画像を自動的に見つけることができます。 潜在的な候補者の名前のセットと組み合わせて、構造の使用は次のようになります。<metaphorical image> + <last name>

言語構成「ロール神話」。 政治テキストの普遍的な基盤。 「レスラー」、「パトロン」、「人々の使用人」、「マスター」、「ビジネスエグゼクティブ」などの役割は人気があります。この動きの成功は、主に役割が聴衆の期待にどれだけ応えるかによって決まります。 例： Alexey Khrustalevは腐敗との戦いについて直接知っています。 彼はロストフウィークの編集者として、また下院の副議長として彼女と戦っている。 彼に対する脅威は繰り返し響きました。 そして最近、彼のために車が爆破された-機知に富んだ。 しかし、アレクセイ・クルスタレフは脱走者にはならなかった。彼は腐敗との戦いを続け、立法議会の選挙で勝利を目指して戦っている。 この言語構​​造により、キャンペーンテキストで候補者の「役割」を自動的に見つけることができます。



実施されたモニタリングの主な結論は事実の声明です。主に出版物には選択的（または選挙に近い）主題のテキストが含まれていましたが、十分な数の特別な言語属性がありませんでした。 原則として、最大数のポイントを持つ出版物は情報提供でした。 彼らは彼らのポストで特定の候補者の仕事をカバーしたか、選挙に関する一般的な要約情報、選挙に関する統計、政党を含んでいました。



攪拌制御ソフトウェアパッケージは推奨的な方法で機能しました。つまり、インターネットメディアのロストフ地域セグメントの状況の有能な構造を迅速に通知し、2013年8月9日のロストフ地域議会の議員の選挙中にネットワーク上の法律と秩序の遵守を確保しました。



間もなく、ソーシャルネットワークの知的分析にコードスローガン「ビッグデータ」を使用してGrail Startupを開始します。 自然言語、グラフ、およびビッグデータの処理のトピックに興味がある場合-ようこそ！



文学

• 連邦法の日付は2002年6月12日N67-（2013年5月7日修正）「選挙権の基本的保証およびロシア連邦国民投票に参加する権利について」。
• バードスティーブン。 Pythonによる自然言語処理。 [テキスト]-O'Reilly Media Inc、2009。-ISBN 0-596-51649-5
• Christopher D. Manning、Prabhakar Raghavan、HinrichSchütze情報検索ドラフト入門。 [テキスト]ケンブリッジ大学出版局。 -2009。
• 宣伝文とその文体表現のコミュニケーション戦略と戦術、[電子リソース]要約、 www.userdocs.ru / informatika / 8383 / index.html？page = 5アクセスモード：無料。 -ザグル。 画面から。 -ヤズ。 ロシア語
• 「ソーシャルネットワークのグラフの自動構築システム」Engineering Journal of the Don、2012。No。4。 [電子リソース] ivdon.ru/magazine/archive/n4p2y2012/1428アクセスモード：無料。 -ザグル。 画面から。 -ヤズ。 ロシア語
• 4巻のロシア語の説明辞書。 // ed。 D.N. ウシャコバ。 -M.、2000。