RapidMinerの機械学習

ドミトリー・ソボレフ、イゴール・マスターナヤ、ラファエル・ズバイロフ



収集されたメトリックの総量がどれほど急速に増加しているかに気付かないことは、単に不可能です。 自動システムがデータを収集する頻度、データウェアハウスのスループットだけでなく、使用できる一連のメトリックも増加しています。 この傾向はIoTで最も顕著ですが、他の業界は膨大なデータソースを誇っています-パブリックまたは特別なサブスクリプションによってアクセス可能です。



データ量の増加は、ビジネスタスクの最適化に取り組むアナリストや専門家にとって新たな課題を生み出します。 世界経済の発展のペースは増加していますが、個々の企業が拡大できるのは、まさにミクロレベルの変化に対する迅速な反応です。 そして、ここでデータ分析と機械学習ツールが助けになります。



2000年代、機械学習と詳細なデータ分析は、大学グループと専門のスタートアップの運命でした。 今日、どの企業も、自動システムを作成するためのほぼ無制限のアルゴリズム、アプローチ、ターンキーソリューション、およびデータ分析用の製品セットにアクセスできます。



機械学習は現在、MicrosoftおよびGoogleの企業だけでなく、中小企業でも高品質のデータ分析または推奨システムを活用できます。 最近までそのような方法の使用にプログラマー、アナリスト、データサイエンティストの雇用が必要であった場合、機械学習のサービスとアプリケーションが市場に登場しているため、グラフィカルインターフェイスを使用して、より使いやすい形式でデータを処理し、予測モデルを構築できます。 この分野の最低限の知識を持つ人でさえ、それらを使用することができます。



現在、自動化および簡素化された機械学習の上位3つは、DataRobot、RapidMiner、およびBigMlで構成されています。 この記事では、RapidMinerを詳しく見ていきます。彼ができることと、彼があなたの人生を楽にする方法についてお話します。

ラピッドメイン

どのビジネスでも、「労働力」指標を別々の期間に評価することが非常に重要です。 これにより、常に大部分が人事に結び付けられているビジネスプロジェクトを計画できます。 追加のリスク要因は、風邪の季節的な発生である可能性があります。毎年冬には、かなりの割合の従業員が病気休暇を取っています。 その結果、プロジェクトの完了日は延期され、もちろん、どの会社もそのようなシフトを避けたいと考えています。 機械学習が役立ちます。



RapidMinerを使用して、風邪に関するデータを分析し、病気の発生を予測できるモデルを構築します。 予測の結果に基づいて、会社は事前に対策を講じ、損失を回避することができます。



プログラムに慣れましょう：





図 1 RapidMinerのスクリーンフォーム。



画面の左側には、データ読み込みパネルと操作パネルがあります。 RadpidMinerは、データベースまたはクラウドストレージ（Amazon S3、Azure Blob、Dropbox）からデータをダウンロードする機能を提供します。 便宜上、演算子のセットはカテゴリに分類されます。

• データへのアクセス（ファイル、データベース、クラウドストレージ、 Twitterストリームの操作 ）;
• データセット属性を操作するための演算子：型変換、日付変換、セットの操作など。
• 数学モデリング演算子：予測モデル、クラスター分析モデル、最適化モデル。
• 補助演算子：JavaおよびGroovyルーチンの実行、データの匿名化、電子メールメッセージの送信、イベントプランナー。

いくつかの主要なカテゴリについて説明しました。各カテゴリには、独自のサブカテゴリと演算子のさまざまなバリエーションがあります。 増え続けるRapidMiner Marketplaceからオペレーターを追加する可能性に注意する価値があります。 たとえば、使用可能な拡張機能には、データセットを時系列に変換できる演算子があります。



画面の中央部分には、データ変換プロセスを作成するためのワークスペースがあります。 ドラッグアンドドロップを使用して、作業対象のプロセスにデータを追加し、データ変換、モデリングなどの演算子を追加します。データと演算子の関係を設定することで、プロセスの進行状況を設定します。 中央の下部には、他のユーザーが作成したプロセスに基づいたヒント付きのツールバーがあり、次に実行する操作をアドバイスします。 右側には、選択した操作のパラメーターと、パラメーターと操作の原則の詳細なドキュメントを含むパネルがあります。



まず、風邪に関連するGoogleのウクライナの検索クエリの数に関するデータ（図2を参照）をアップロードします。 アプリケーションのセクションの表1にデータの例を見ることができます。





図 2ウクライナのデータの種類



データは、2005年から2015年までの週末のリクエスト数を表します。 データをインポートする場合、タイムスケジュールを正しく構築するために日付形式を指定する必要があります。 データブロックの出力をプロセス結果（res）の出力ポイントに接続します。 「開始」ボタンを押すと、プログラムは一般的な統計を表示します。 結果を図に示します。 4。





図 3一般的な統計を生成するプロセス。





図 4ウクライナのデータの一般統計。



[チャート]タブを使用して、データ分布グラフをプロットします（図5）。 グラフは、風邪の発生の見かけの頻度を反映しています。最初の波は秋に始まり、2月までにピークを観測できます。 次に、ロシアのデータを取得し、同じ周期性がロシアに残っているかどうか、発生がウクライナで割り当てた期間と一致するかどうかを確認します。 これを行うには、新しいデータをアップロードし、以前にダウンロードしたデータと組み合わせます。 「結合」演算子を使用して日付フィールドを使用して結合します。



図に示すグラフでは 5と6から、周期性が持続し、入射ピークがほぼ一致することがわかります。





図 5 2005年以降のコールドリクエストの数。





図 6ウクライナとロシアの風邪に関するデータ。

モデル構築

ウクライナの症例数を予測するモデルの構築に移りましょう。 過去4週間（約1か月）の値に基づいて、来週のシリーズの値を予測します。 この記事では、直接分布ニューラルネットワークを使用して時系列を予測します。 ニューラルネットワークの選択は、モデルパラメーターの選択の単純さとそのさらなる使用によって正当化されます。 自己回帰モデルおよび移動平均モデルとは対照的に、ニューラルネットワークは時系列の相関分析を必要としません。



図 図7は、時系列の値を予測できるプロセスの図を示しています。





図 7 RapidMinerで予測を作成するプロセス。



ニューラルネットワークオペレーターが正しく機能するためには、元の時系列をトレーニングサンプル形式に変換する必要があります。 これを行うには、Series ExtensionのWindowing演算子を使用しました。 したがって、値の列から次の形式のテーブルを取得しました。



表1.ニューラルネットワークのトレーニングセットの表示







次に、「属性の選択」演算子を使用して、選択から余分なフィールドを削除しました（値1〜4の日付）。 教師によるニューラルネットワークの指導は、トレーニングおよびテストサンプルの存在を意味するため、「Split Data」演算子を使用して、BPを80から20の比率で分割しました。「Neural Net」演算子のドキュメントによれば、 「ラベル」。「ロールの設定」演算子が使用されました。 列「予測日」は予測に関係しないため、ロール「Id」を割り当てる必要があります。 「Split Data」演算子の2番目の出力と「Neural Net」演算子の「mod」出力は、対応する「ApplyModel」入力に接続されます。 「モデルの適用」演算子は、トレーニングサンプルの入力に制御サンプルを送信し、予測値と実際の値を比較します。 プロセスの最終段階は「パフォーマンス」演算子です。これは、結果のエラーを判断するために必要です。 「Set Role（2）」を使用して「Apply model」から取得した予測値には、「Prediction」ロールが割り当てられました。



使用されるニューラルネットワーク演算子のパラメーターと計算エラーを考慮してください。 経験的に、図8に示すニューラルネットワークのアーキテクチャに到達しました。ディープフィードフォワードニューラルネットワークには、最初の4つのニューロンと2番目の12の2つの隠れ層があります。 活性化関数として、シグモイドが使用されました。 トレーニングは、0.5のトレーニング係数と1500のサイクル数で正規化された入力データで実行されました。

予測結果

RapidMinerは、モデルの結果として3つの成果物を提供します。

モデル：そのグラフィカル表現、パラメーター、および重みベクトル。

計算されたエラーの結果。

予測値の列で補完されたテストデータのサンプル。





図8.ニューラルネットワークアーキテクチャ





図 9予測値と実数値のグラフ



図 9予測の結果を確認できます。 ご覧のとおり、予測データを含むグラフは実際のデータに非常に近いものです。 式（1、2）を使用して予測誤差を計算し、構築されたモデルの結果を評価します。











ここで、Anは実数値、Fnは予測値



計算の結果、次のようになりました。



MAPE = 5.47％（3）



MAE = 21.748（4）

結論

機械学習技術の大規模な導入には、エンドユーザーにとってさまざまな複雑さのツールの作成が必要でした。 この記事で紹介されているRapid Minerプログラムは、機械学習テクノロジーの学習を開始するためのエントリーしきい値を下げます。



このプログラムを使用する場合、PythonまたはRでコードを記述する必要はありません。RapidMinerは、あらゆる方法で、データ準備、モデルトレーニング、検証、精度評価のチェーンの次のアクションを促します。 プロセス内のいくつかのエラーを自動的に修正し、完全に明確ではない特定のポイントを支援および説明することができます。



記事を書くとき、RapidMinerの機能を調べました。 非常に広範囲であり、複雑なニューラルネットワークアーキテクチャを使用し、パラメータを微調整する機能を提供します。アクティベーション関数の選択、隠れ層のニューラル接続の設定など。ライセンスの存在により、Rapid Minerクラウドでのコンピューティングが可能になり、トレーニング時間を短縮し、プロセスを高速化する必要がありますその他の特性。 また、このライセンスにより、より多くのデータをダウンロードでき、ユーザーを1万行に制限することはありません。



この記事で構築された数学モデルは、テストデータで約6％の誤差に達し、いくつかの変更を加えて、風邪の成長を予測するために使用できます。 ただし、私たちの主な目標は、使用するプログラムのシンプルさと簡潔さを示すことでした。



Rapid Minerと同様のアプローチを使用すると、どの企業でも風邪の発生と同様の状況を予測できます。 予測に基づいてとられた予防策は、リスクを減らし、最終的に利益を増やすことができます。

使用材料のリスト

1. Google Flu Dataロシア連邦
2. Google Flu Data Ukraine
3. RapidMinerを使用したコストモデリングの時系列予測：1/2

用途

表1.ウクライナとロシアのデータ例

日付	ウクライナ	ロシア
2005年10月	359	296
2005年10月	534	307
2005年10月23日	672	329
2005年10月30日	660	411
2005/11/11	596	417
2005/11/13	540	371
2005/11/20	503	316
2005/11/27	461	341
2005年12月4日	453	362
2005年12月12日	432	357
2005年12月18日	422	415
2005年12月25日	411	409
2006年1月1日	404	436
2006年1月8日	385	362
2006年1月15日	366	327
2006年1月1日	359	313
1/29/2006	358	304
2006年5月2日	337	329
2006年2月2日	329	344
2006年2月19日	340	413