Azure Machine Learningを使用したテキストキー分析

この投稿では、 Microsoft Azure Machine Learningを使用してテキストの調性を分析する方法と、Azure MLの使用中に発生する可能性のある問題とその回避方法を示します。



調性の分析とは、 「コンピューターに感覚を教える（ロシア語での感情分析）」という記事に詳しく説明されています。

目標は、入力としてテキストを受け取り、このテキストが正の場合は1を返し、負の場合は-1を返すWebサービスを構築することです。 Microsoft Azure Machine Learningは、計算結果をWebサービスとして公開し、R言語をサポートする組み込み機能があるため、このタスクに理想的（ほぼ）適しています。これにより、松葉杖を作成して仮想マシン/ Webサーバーを構成する必要がなくなります。 一般的に、クラウドコンピューティングのすべての利点。 さらに、最近、Azureアカウントとクレジットカードがなくても誰でもAzure MLを試すことができることが発表されました。Microsoftアカウントのみが必要です。



プロセス全体は、2つのポイントになります。

• モデルの作成とトレーニング
• 結果のモデルを使用する

モデルトレーニング

キーを認識するために、単純なベイズ分類器を使用します。 トレーニングのために、いくつかのテキストとそれに対応する評価のセットを含むラベル付きサンプルが必要です。 さらに、このセットでは、ドキュメント用語マトリックスが構築されます。行はドキュメントに対応し、列はドキュメント内で発生する用語に対応します。 各セルには、対応するドキュメント内のこの用語の繰り返し数が含まれています。 したがって、「 今日は天気が良い 」と「 天気が悪い、天気が悪い 」という2つのドキュメントの場合、ドキュメントと用語のマトリックスは次のようになります。

	今日	いいね	天気	私は	じゃない	とても	大丈夫	私自身	感じる	非難する
doc1	1	1	1	0	0	0	0	0	0	0
doc2	0	0	1	1	1	1	1	1	1	1

テーブルには、同じ単語の2つの形式、「good」と「good」が含まれていることに注意してください。 これは、ステミング（特定の規則に従ってトリミングの終わり）を使用すると回避できますが、結果が低下する可能性があります。 記事の冒頭にあるリンクの記事で、用語とN-gramの重み付けの詳細をお読みください。



この行列を作成した後、ベイズ分類器を訓練するために直接使用できます。 しかし最後に、理論から実践に移りましょう。

練習する

VKの壁の投稿の調性を評価します。 したがって、分類器をトレーニングするには、調性が付加された投稿の選択が必要です。 このリンクからダウンロードできます（注意、このサンプルは、 ビッグデータハッカソンへの（I、 ASTAPPおよびMKulikow ）参加中にマークされました。したがって、マークアップが大規模に行われたため、非常に正確であるふりをせず、エラーが含まれている可能性があります急いで）。 このサンプルでは、​​ランダムなVKontakte壁から約3,500のランダムな投稿があり、そのうち341が正、115が負です。 投稿の評価は、-10〜10のスケールで実施されました。



そこで、Azure MLで実験を作成して、分類子をトレーニングしましょう。 MLホームページに移動し、[新規]-> [実験]-> [空の実験]をクリックします。 新しい実験の純粋なフィールドが表示されます。 上記から、すぐに名前をより適切な名前（habr_article_sentimentなど）に変更できます。



次に、データセットをAzureにアップロードする必要があります。 理論的には、これを行うには、[新規]-> [データセット]-> [ローカルファイルから]をクリックし、[新しいデータセットの種類を選択：]リストにヘッダーを持つ汎用CSVファイルを選択します。 ただし、問題が発生します-行に改行文字（\ n）が含まれている場合、引用符でエスケープされていても、インポートは失敗します。 また、VKの壁のポストには、このシンボルが必ず存在します。 このバグを回避するには、CSVファイルをデータベースにロードし、データ入力および出力セクションのReaderブロックを使用してデータをロードします。 このブロックを実験フィールドにドラッグし、データベースへの接続を構成し、データ選択用のSQLクエリを指定します（「サーバー証明書を受け入れる（安全でない）」ボックスをチェックすることを忘れないでください。SQLクエリは次のようになります。

SELECT score AS grade, text FROM tmp.big_data_hack
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これで、実験を開始してReaderブロックの出力を確認できます。これを行うには、ページの下部にある[実行]ボタンをクリックし、実行が完了したら、出力ノードを右クリックして[視覚化]を選択します。 次のようなものが得られるはずです。







右側のブロックでは、いくつかの統計を見ることができます-最大値が70であることがわかります。これはマークアッププロセス中の明らかなタイプミスであり、未割り当ての行（ニュートラルトーンを持つ行）もあります。



次に、空の行を削除し、-10から10までのスケールからグレードを-1、0、1のカテゴリグレードにします。これを行うには、Missing Value ScrubberブロックとClip Valuesブロックを使用します。 ブロックを含むパネルの検索を使用して、Missing Value Scrubberブロックを見つけて実験フィールドにドラッグし、その入力をReaderブロックの出力に接続します。







上の写真のようにこのブロックの設定を設定します-ここでは、すべてが明確だと思います。



次に、Clip Valuesブロックをドラッグします。このブロックは、外れ値を検出および置換するのに役立ち、目的に最適です-最小値を設定するだけです。 および最大 それぞれ-1および1の値。







このブロックには列セレクターがあることに注意してください-処理する列を選択する必要があります。 デフォルトはすべてデジタルです。 グレード列を選択しましょう-列セレクターを起動をクリックして、次の設定を設定します。







実験を実行して、何が起こるか見てみましょう-[実行]をクリックして、クリップ値ブロックの出力を視覚化します。







いいね！ 必要なもの-分類器のトレーニングに直接進むことができます。 Azure MLは任意のRスクリプトの実行をサポートしているため、Rのe1071パッケージの単純ベイズ分類器を使用します。ExecuteR Scriptブロックを実験フィールドにドラッグし、Clip Values出力をDataset1入力ポイントに接続します。







すぐに注意する必要があります：理想的には、モデルのトレーニングとその後の使用のプロセスは次のとおりです。実験を作成し、使用するモデルを選択し、トレーニングして精度チェックを実行します。 次に、モデル出力を右クリックして、「トレーニング済みモデルとして保存」を選択します。 その後、トレーニングされたモデルはブロックセクションに格納され、いつでも使用できます.Webサービスを公開するには、新しい実験を作成し、そこにトレーニングされたモデルをドラッグして、出力ポイントと出力ポイントを設定します。 すべてが非常に簡単で明確です。 ただし、現時点では、トレーニング済みモデルを「Execute R Script」タイプのブロックに保存することはできません。 私はこれがすぐに修正されることを本当に望んでいます（ ここに投票してください ）。 ただし、今後Rスクリプトからモデルを保存して使用する機会がまだあります：オブジェクトを一連のバイトにシリアル化し、ブロックの出力に送ることができます（このセットを単一列のDataFrameに変換した後、DataFramのみを出力に送信できます） s）。 実験が完了したら、出力ポイントを右クリックして[データセットとして保存]を選択できます。 将来の実験では、このデータセットを選択して、Rスクリプトブロックの入力に接続し、ロードしてデシリアライズすることが可能になります。 このメソッドは曲がっていますが、動作します:)ローカルにRがインストールされている場合、少し簡単にできます-モデルをトレーニングし、.RDataに保存し、zipでパックし、このzipをデータセットセクションにロードし、Rスクリプトブロックの3番目の入力に接続します-スクリプトバンドル（Zip）。」 一般的に、.RDataタイプのファイルをデータセットセクションに直接読み込むことができますが、後で接続する単一のブロックは見つかりませんでした-Rスクリプトブロックに接続することさえできません。



上記に基づいて、Rコードは次のとおりです。

 library("RTextTools") library("stringr") library("tm") library("e1071") #      (   1) data <- maml.mapInputPort(1) #             ,         / data <- data[data$grade != 0,] #   -         dtm <- create_matrix(data$text , language="russian" , minWordLength = 2 , maxWordLength = 10, , stemWords = FALSE , removeNumbers = TRUE , removeSparseTerms = 0 ) mat = as.matrix(dtm) #    DocumentTermMatrix    #   classifier = naiveBayes(mat, as.factor(data$grade)) #   serClsf <- serialize(classifier, connection = NULL) #  DataFrame       output <- data.frame(clsfr = as.integer(serClsf)) maml.mapOutputPort("output");
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これでようやく、実験を実行できます！ 完了するのに1分かかりました。 完了後、すべてが順調に進んだ場合は、出力ポートを右クリックして分類器を新しいデータセットとして保存できます。







これでモデルのトレーニングが完了し、次のパートに進むことができます-結果のモデルを使用して、Webサービスを作成および公開します。

モデル使用

新しい実験を作成し、habr_article_sentiment_useなどの名前を付けます。 Execute R Scriptブロックをフィールドにドラッグし、以前に保存した分類器を2番目のポートに接続します。







そして最初のポートに、1行を含む1列のテキストファイルだけを接続します。これは、モデルをチェックするためのテスト提案です。 これには2つの理由が必要です。まず、分類子が実際に機能することがわかりますが、最も重要なことは、公開するWebサービス入力データの構造に関するAzure Machine Learningの情報を提供することです。パラメータ。 このテキストファイルは、たとえば次のようになります。

 "text" "     .    ,   ,      ,   .      ."
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

結果は次のようになります。







このデータセットの出力で[視覚化]をクリックして、「text」という名前の列が1つしかないことを確認します。



次に、分類子を使用するRスクリプトを作成しましょう。

 library("RTextTools") library("stringr") library("tm") library("e1071") #       ,    -   data <- maml.mapInputPort(1) serializedObj <- maml.mapInputPort(2) #    classifier <- unserialize(as.raw(serializedObj$clsfr)) # C  -    doc <- data$text dtm <- create_matrix(doc , language="russian" , minWordLength = 4 , maxWordLength = 10, , stemWords = FALSE , removeNumbers = TRUE , removeSparseTerms = 0 ) mat = as.matrix(dtm) #   predicted <- predict(classifier, mat) #    DataFrame result <- as.data.frame(predicted) #     maml.mapOutputPort("result");
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

実験を実行し、結果を視覚化します-テキストは一般的にポジティブですが、私は-1を得ました。 これは、サンプリング品質が低く、より洗練されたアプローチを使用する必要があることを示しています。 ハッカソンでは、精度は約72％でした。



次に、Webサービスのエントリポイントを設定する必要があります-Rスクリプトブロックの最初の入力をクリックし、[入力として設定]を選択します。 同じ方法で出力を設定します。「結果データセット」出力ポイントをクリックし、「出力として設定」を選択します。 これで、最終的にWebサービスを公開できます。下部のパネルで[Webサービスの公開]をクリックします（このボタンが使用できない場合は、実験を実行するだけで、実行後にアクティブになります）。 確認後、新しく公開されたWebサービスのページに移動します。







ここから、生成されたWebサービスのヘルプページにアクセスできます。そのためには、REQUEST / RESPONSE行のAPIヘルプページをクリックします。 このページには、さまざまな言語のコードサンプルも含め、Webサービスの使用に関する包括的な情報が含まれています。 最初のリクエストを実装してみましょう-お気に入りのRESTクライアントを使用して、次のJSONサービスを送信します。

 { "Id": "score00001", "Instance": { "FeatureVector": { "text": "     ,     ...   ,   ,  ...    " }, "GlobalParameters": {} } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

応答として、次のものを受け取ります。

 ["-1"]
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

おわりに

以上です！ ご覧のとおり、Azure Machine Learningの使用は非常に簡単ですが、現時点ではいくつかの問題があります。 しかし、Azure全般と同様に、Azure MLは非常に高速に開発されており、これらすべての回避策がすぐに必要なくなり、バグが消えることを望んでいます。



結論として、ここに2つの便利なリンクがあります。

1. Azure Machine Learningのクイックスタート： http : //habrahabr.ru/company/microsoft/blog/236823/
2. AzureのMachine Learning Center： http : //azure.microsoft.com/en-us/documentation/services/machine-learning/