RapidMiner-迅速かつ準備なしで（ほぼ）あなたの場所でデータマイニングとBigData

マーケティング担当者はBigDataで自分自身をカバーし、記者会見でこのように実行しますが、テストデータセット、プロセステンプレート、および開始を含む無料のツールをダウンロードすることをお勧めします。



最初の結果のダウンロード、インストール、受信-最大20分。



私は、 RapidMiner-オープンソース環境について話しています。これは、そのすべての自由のために、商業的な競合他社を少し苦しめています。 確かに、開発者はまだそれを販売しており、オープンソースには最後から2番目のバージョンのみが与えられているとすぐに言います。 一般に、2つの制限のみを持つすべてのロジックを持つ無料のアセンブリがあるため、自宅で試すことができます-使用されるメモリの最大量は1 GBであり、データソースとして通常のファイル（csv、xlsなど）でのみ動作します。 当然、中小企業でもこれは問題ではありません。

RapidMinerについて知っておくべきこと

これがインターフェースです。 データをドロップしてから、ステートメントをGUIにドラッグアンドドロップするだけで、データ処理プロセスを形作ることができます。 あなたから-あなたがやっていることの理解だけ。 すべてのコードが環境を処理します。 もちろん、「フードの下」で登ることもできますが、ほとんどの場合、必要ありません。

重要な機能

• 良いGUI。 実際、各機能ブロックはキューブに組み立てられます。 アプローチに新しいものはありませんが、非常にクールなパフォーマンスです。 通常、クラシックプログラミングとビジュアルプログラミングの違いは、機能に大きな影響を及ぼします。 たとえば、SPSS Modelerには50のノードしかありませんが、ここではベースロードに250ものノードがあります。
• 優れたデータ準備ツールがあります。 通常、データは別の場所で準備されていると想定されますが、すでに既製のETLがあります。 同じ商用SPSSでは、トレーニングの機会ははるかに少なくなります。
• 拡張性。 古き良き言語Rがあります。オペレーターWEKAシステムは完全に統合されています。 一般に、これは「幼稚園」ではなく、閉じたフレームワークでもありません。 低レベルに下げる必要があります-問題ありません。
• Friends with Hadoop （Radoopという単純な名前の別の有料拡張機能）、両方ともクリーンな実装と商用実装。 つまり、デモデータセットではなく戦闘データベースを使用してXLSプレートを脱穀し、ファッショナブルなApache Sparkの助けを借りても、すべてが必要に応じてすぐに上昇します。 最良の部分は、コードを記述する必要がないことです。 マイナーでは、アナリストは同じGUIを使用してスクリプトを記述し、処理に送信できます。
• 外の建築データ 。 プラットフォームをセットアップし、データをロードして、相関関係がある場所、予測できるものを調べ始めます。 これはプラスとマイナスです、なぜ-以下。
• IDEに加えて、サーバーもあります。 Rapid Miner Studioはプロセスを作成し、それらをサーバーに公開できます。 スケジューラのようなもの-サーバーは、どのプロセスを開始するか、どの頻度で、何をすべきか、何かが落ちた場合、各プロセスの責任者、結果をアップロードする場所にリソースを提供する方法を知っています。 一般的に、すべてすべてすべて現代のパン。
• また、サーバーは最小限のレポートをすぐに作成できます。 XLSではなく、そこにグラフィックを描画できます。 これは中小企業のマーケティングで好まれており、小規模プロジェクトに便利です。 そして、もちろん、ModelerやSASと比較して、非常に安価です（商用版でも）。 しかし-私はすぐに言います-それらの応用分野は異なります。
• 迅速な開発 。 Apache Sparkに関して深刻な騒動がありました-数か月後、基本的な機能のサポートに関するリリースがありました。

短所

• お金 。 2011年以降、製品の最後から2番目のバージョンがオープンソースとしてリリースされました。 新しいリリースにより、前のものはオープンソースになります。 Starterでは、処理が1ギガバイトを超えるRAMを消費するプロセスを構築できません。 2週間の試用。
• ガートナーの会社は最大ではありません 。 これは実装とサポートにとっては悪いことです。なぜなら彼らは自分でそれを行うことができないからです。 一方、会社の方針に関する大企業の場合、これらはすべてインテグレーター（つまり、私たちだけ）に与えられます。
• 会社の信頼性はまだ蓄積されていません -実装はそれほど多くありません、若いです。 予算が3倍高い場合でも、SASに解雇された人はいません。ここでは、名前は公聴会ではありません。
• コンサルティングには不向きで、正式な技術サポートプロセスはありません 。 これもすべて、インテグレーターによって行われると想定されています。 私たちはそうしますが、大企業の観点から、この機能に言及することは間違いありません。
• すべてがサーバー上で分析されるわけではありません;場合によっては、プラットフォームはローカルマシン上のデータを集約しようとします。 これは、モデルがデータベース全体を必要とする場合、つまり、小さなデータでアルゴリズムを実行することが不可能な場合に悪いことです。 この問題を解決するためにHadoopまたは同等のものを使用していることを前提としています。 すべてがそこにあります。
• 古典的なデータベース（多様性の基準ではビッグデータではない）の分析は、古典的な解決策の1ステップ後です。 つまり、インデータベースをアンロードする前に事前集計を行いたい場合、ペンで明示的に設定する必要があります。RapidMiner自体は推測しません。

RapidMiner対IBM SPSS Modeler

RMにははるかに広い処理能力があり、より多くのノードがあります。 一方、SPSSには「自動操縦」モードがあります。 自動モデル（自動数値、自動分類）-さまざまなパラメーターを使用していくつかの可能なモデルをソートし、最良のものを選択します。 非常に経験豊富なアナリストは、このような適切なモデルを構築できません。 確かに、経験豊富な専門家が作成したものよりも精度は劣りますが、事実そのものがあります。モデルについて何も理解せずに作成できます。 RMにはアナログ（Loop and Deliver Best）がありますが、それでも少なくとも、モデルを選択し、最適なものを選択するための基準が必要です。 自動データ前処理（Auto Data Prep）-もう1つの有名なチップSPSS-それ以外の場合、RapidMinerに実装されたもう少し退屈なもの。





SPSSでは、データ収集は自動化されたデータ準備の単一ノードによって実行され、データを使用して実行する必要があるものにチェックマークを付けます。 RapidMinerで-アトミックノードから任意のシーケンスで組み立てられます。

RapidMiner対SAS

RMの「何でもできる」という点では、RMの方が高くなりますが、最終的には、母親といくつかの合併症の助けを借りて、SASで同じ結果を得ることができます。 ただし、これはまったく異なるアプローチです。SA​​Sに慣れている場合は、再学習する必要があります。 SASは、銀行、小売など、多くの垂直型ソリューションも提供しています。 プラットフォームはユーザーにビジネス言語で話します。 RMはより抽象的なものであり、何が何であるかを自分で定式化しなければなりません。

RapidMiner vsデマントラ

2つのパッケージを比較することは完全に正しいわけではありませんが、RMの仕組みを説明することは重要です。 Oracle Demantra（および非常に大まかに言うと、特定の業界またはタスク向けのすべての類似製品）は、特定の調達および供給タスクに合わせた既製のパッケージです。 そこには特定の操作があります-アップロードされた販売データ、商品調達の予測を受け取りました。 1つのモデル、多くの既製のテンプレート。 高価でクールな大企業。



一方、RMでは同じことを繰り返すことができますが、ロジックの半分を作り直す必要があります。 これは、最終的なソリューションのカスタマイズと柔軟性の点ではデータサイエンティストにとって非常に便利ですが、ビジネスユーザーにとっては非常に困難です。

建築

タスク

だから、私たちの前に問題を解決するためのクリーンなフィールドがあります。 そのようなツールによって解決されるロシアで最も頻繁なのは：

• 不正行為と戦うためのトランザクション分析 （銀行など）。
• クライアント分析 。 これは最もホットなトピックです。 カスタマーチャーンのモデルを構築し、これに対応する準備ができている人にフラグを立てることが最も簡単で最も有益です。 たとえば、電気通信市場では、加入者を他の場所に移動することは、人がもういないため悲劇です。 したがって、彼らは「クライアントが逃げることができます」フラグのために本当のお金を支払う準備ができています。
• 個人的な推奨事項 。 小売が大好き-何を提供するか。 コンドームを購入しなかった場合だけですが、数か月以内に離乳食を割引する必要があることをすでに覚えています。
• 供給と販売の予測 。 このための既製のパッケージがあるという事実にもかかわらず、RapidMinerは愚かに安いです。 中規模ビジネスを営む場合、ボーイングを購入する必要はありません。 また、同じJDAを購入しないでください（2つのボーイングのように費用がかかります）。 いいえ、機能と統合の両方の点ですべてが非常にクールです-しかし、それを購入する余裕のある人はほとんどいません。
• テキスト分析 -人々が書くことについて。 たとえば、自動モードでのレビューやコメントの感情的なトーンの分析。 これは、「Victory Street沿いのVolgogradでの接続について文句を言われた50」、「サービスを賞賛した20」、「加入者の不満の主な理由は頻繁な切断である」などです。
• 多くの場合、ベースおよびWebサービスレベルで既製の統合が必要です。 実際、ここに何も書く必要はありません。ポーリングの頻度、使用するモデルとプロセス、消費者のみが設定されます。 非同期または月次レポートの場合はさらに簡単です。非常に小規模なビジネス向けのDropboxからのデータのプルアップや、Amazonサービスとの既製の統合もあります。
• 商用RapidMinerは、ビッグデータと非常にうまく機能します 。 ExadataとVertica-クラシック2.0データベースまたは超並列DBMS-「ずっと」サポートされています。

そして、これは私の（私のものだけでなく）お気に入りのトピック-メタモデリングです。 これから少し離れている人にとっては、異なるモデルはしばしば異なる関係を見つけ、同じサンプルで異なる結果を形成します。 そして、彼らはしばしば異なる場所でも間違っています。 モデルアンサンブル（モデルアンサンブル）を作成するには、これを使用する必要があります。たとえば、投票演算子—アンサンブルに含まれるすべてのモデルの意見が考慮され、投票数が最も多い結果が出力されます。 または、「高度な」データサイエンティストの間で最も人気のあるBaggingメソッド（ブートストラップ集約）の1つは、ソースデータの異なるサブサンプルでいくつかのモデルをトレーニングし、その後に結果を平均化することです。

移行

RapidMinerへのいくつかの移行の経験から言えること：ここでは、データサイエンスの観点から印象がポジティブであることを注意することが重要です。 技術的には、それは少し悪いです-データクリーニングはより困難になり、SPSSとSASのパラダイムとシンプルさにすでに慣れています。 ここでは、脳をさらに再構築する必要がありました-すべてが完全に異なる方法で行われます。 アーキテクチャの実装は非常に異なるため、スペシャリストの能力の観点から独立して移行することは非常に難しいとすぐに言います。 もう一度学ぶ必要があります。 しかし、私たちとお客様にとって、結果はそれだけの価値がありました。



たくさんの素敵な小さなチップ。 たとえば、「マクロ」について言うのは理にかなっています。これらは、いつでも使用できるプロセスパラメーターです。 たとえば、マクロとして、ファイル名、作成日、データ属性の平均値、達成された最高の精度、反復数、およびプロセスが最後に開始された時刻を使用できます。 多くの場合、重要な処理操作を作成するときに役立ちます。 たとえば、マクロの助けを借りて、操作の実行時間を制限できますが、時間のしきい値は固定されていませんが、計算パラメーターです-データのサイズ、時刻に依存します（夜間の最適化には時間がかかる場合があります）。



最近から-旅客交通を予測するためのモデルを構築しました。 ここではすでにRM 100％を使用しています。 彼らはすべてを「ゼロから」構築し、振り返る場所がなかったため、既存のプロセスを転送して別のツールでそれらを繰り返す必要はありませんでした。

始めるためにすべきこと

新鮮なドナー、つまり、売上などのデータを収集します。 自分で持っていなくても構いません。無料のスターターでもいくつかのデモセットが付属しています。 プロセスを前処理するためにアクセラレーターを介してデータを確認してください。 既製のプロセスが4つあり、組み込みモデルでハンドラーを構築します。 GUIで直接データを操作して、どれだけクールかを確認してください。 実験。



公式サイトから収集されたリリースをダウンロードするためのリンクがあります 。



データが少ない場合-退屈するまでそれを使用するだけで、会社は中規模および大規模企業だけがフルバージョンを購入することをよく認識しています。 データがほとんどない場合、顧客に依存せずに価格が固定されていることを知ることが重要です。



クールだと感じているが、すぐに学習したい場合は、 トレーニングセンターにアクセスしてください。 RapidMinerの公式パートナーであり、コースの結果に基づいて証明書が発行されますあなたから-統計の基本的な知識（少なくとも排出量、平均値、正規分布、分散を想像してください）および基本的なコンピューターの知識。 ドイツのテレコムが1つもない場合（または匿名の場合も同様）のデータセットを提供し、顧客離れを予測するためのケースを収集します。 そして、それを維持するためにどれだけのお金があるかに基づいてモデルをモデル化します。 たとえば、10,000ルーブルと100,000顧客があります。それらの中から、より安く保管でき、将来より多くのお金を会社に持ち込む人を選択する必要があります。 最も可能性の高いクライアントになり、最終的な利益を最大化するために（これは、アップリフトモデリングと呼ばれます。SASの用語に慣れている場合は、インクリメンタルレスポンスモデリング）。



繰り返しになりますが、スターターバージョンは分析機能の点で完全です。つまり、会社のアイデアの概念実証を完全に無料で行うことができます。