このようなデータの種類は？ それとも再びMapReduceの程度

あなたは、特にあなたのため、インターネットなしで、そして文明からの単離には、離島での最後の10年を費やしている場合は、私たちは、MapReduceのの概念について話を再試行します。 導入は、MapReduceの概念インターシステムズのCaché環境の実現のために十分、小さいであろう。 あなたはあまりにも遠く、最後の10年間に除去されない場合は、我々は基礎インフラを作成している第二部、に進んでください。

-私はあなたが前の記事I /翻訳から推測するかもしれないとして、MapReduceのの大ファンではない、ちょうど定義してみましょう「Hadoopの岐路に立つ」 -マイケル・ストーンブレーカーと「コマンドラインユーティリティが235倍高速あなたのHadoopクラスタを超えることはでき」であるために[か、私はHadoopのMapReduceののJava実装のファンではないが、これは個人的です]

いずれにせよ、これらすべての予約や弱点にもかかわらず、この主題への復帰を行い、異なる環境や異なる言語でのMapReduceを実装しようとする多くの理由があります。 このすべては、私たちは、後に聞こえるが、それまでBigDataについての話を聞かせなければなら...

データが大きく、とき少しすると？

それはBigDataに夢中にし始めた数年前、彼は少しデータが大きくなり、どこの限界があるが、誰もがそれを行うにはファッショナブルな、若さと「間違った」ことを知っていただったとき、誰もが本当に知りませんでした。 時が経つにつれ、一部の人はBigData長い流行語（それはかなり面白いですが、ガートナーと宣言し、実際に削除決定し、決定BigData 2016のための彼のカーブbazvordovとの用語は、他の分割されたという事実によって、それを正当化します）。 かかわらず、ガートナー用語BigDataへの欲求の、まだ私たちの間で、非常に生きて、そして私は彼の理解を決定するためにそれの時間を考えます。

例えば、我々は最後まで知っていれば、時に「ビッグデータ」をオンにする私たちの「非常に大きなデータではなく」？

（理由の）最も特異デビッドキャンター、一般的におよびx86 chastnosti1におけるアーキテクチャプロセッサ上で最も尊敬専門家の一人によって与えられた回答：

FWIW、私はインテルで働いていた時に、ハードウェアチームは、「次世代プロセッサ»（don'task）に取り組んで参加し、私は約材料勉強し始めたプロセッサアーキテクチャ Nehalemのをオンラインでない内部ドック付きのデイビット・カンターを、およびMASを持っています。 ダビデはより良く、より明確だったので。

つまり あなたのデータの「テラバイトの夫婦のみ」なら、あなたはおそらく、すべてのデータは、（お金とモチベーションのに十分であれば、もちろん、量）は、サーバー上のメモリに収まることを保証するのに十分であるサーバマシンのハードウェア構成を見つけることができるようになります、そして、あなたのデータがまだあります非常に大規模ではありません。

停止作業垂直スケーリングとアプローチ（機械の「より良い」発見）するときBigDataがあるため、開始します データの特定のサイズであなたは、任意の（合理的な）お金のために複数の構成を購入することはできません。 そして、我々は広さに成長し始める必要があります。

単純に - 最高

[OK]を、私たちは用語BigDataに成長しているデータの量を決定するために、我々は大規模なデータのためにその仕事に近づくかを決定しなければなりません。 大規模な大規模なデータに使用され始めた最初のアプローチの一つだったMapReduce 。 多くの代替ソフトウェアモデルは、より良いまたはより柔軟なMapReduceのよりかもしれないが、おそらく最も効率的ではないが、彼は間違いなく、最も単純化することができビッグデータ、での作業、があります。

また、できるだけ早く我々はサポートBigDataのためのソフトウェアプラットフォームやデータベースプラットフォームのいくつかの種類を検討し始めとして、我々は、MapReduceのシナリオは、内部または外部のツールで、このプラットフォームでサポートされていることをデフォルトで想定しています。

言い換えれば-あなたはあなたのプラットフォームがBigDataをサポートしていることを、何のMapReduceを言うことはできません！

ALARMは - あなたが月に10年いなかったならば、あなたは安全のMapReduceアルゴリズムの基本について話を放散させることができ、チャンスはあなたが既に知っているされています。 休息のために、我々はそれがすべて始まった場所、それをご紹介するために（再び）しようとすると、どのようにそれはすべて2016年の終わりに使用することができます。 （特に、MapReduceのは、カートンからサポートされていないプラットフォーム上で。）

多くの場合、問題の最も簡単な方法は、私たちは最高の結果を取得し、まだ長い時間のために、製品に住むことを可能にすることに注目されています。 かかわらず、計画の原作者の。 場合であっても、その結果として、それが最も効率的ではありませんが、原因コミュニティが持っているという事実のために、それは広く知られており、全てが学んだ、と彼はちょうど良い十分と解き問題でした。 このような効果は、MapReduceのモデルで観察さについて-した後も基本的には非常に単純である、それはまだ広く使われている原作者の両方が彼の死を宣言しました 。

キャッシュにズーム

歴史的にインターシステムズのCachéは、両方の垂直および水平方向のスケーリングのための兵器庫に十分なツールを持っていました。 我々 はすべての （悲しい絵文字を）知っているようにCachéは、データベース・サーバが、水平方向のスケーラビリティと高可用性のためにECP（エンタープライズ・キャッシュ・プロトコル）を使用することができ、アプリケーション・サーバー、だけではありません。

特徴ECPプロトコルは、 - 非常に強く、中央ノード・データベース・サーバでの書き込みデーモン性能に当接し、クラスタの異なるノードで同じデータにアクセスするためのコヒーレンシ・プロトコルを最適化されます。 ECPは、書き込みデーモンへの負荷が非常に高くない場合は、カウントプロセッサコアにノードを追加することができますが、関与するノードの各レコードに、よりアクティブに生成した場合、このプロトコルは、水平にスケールするアプリケーションを助けにはなりません。 サーバーのデータベース上のディスクサブシステムがボトルネックであり続けるだろう。

ビッグデータを扱うときに実際には、最新のアプリケーションは、別の使用を必要とする、あるいはアプローチの上に聞こえた直交します。 水平アプリケーションは、クラスタの各ノード上のディスクサブシステムを使用しなければならないスケール。 データがリモートノードに提供されているECPとは異なり、我々は逆に、コードサイズが小さいことが想定されるもたらし、サイズが（データサイズに関する少なくとも）非常に大きなものとする各ノードにおけるデータ。 将来的には、シャーディングと呼ばれるパーティショニングの同様のタイプは、 将来の製品の一つでSQLエンジンキャッシュ内に実装されます。 しかし今日でも、 プラットフォームへの利用可能な手段で、私たちは私たちが現代の、「トレンディ、若さ」を利用して水平にスケーラブルなシステムを設計することができるようになる何かをシンプルに実装することができ近づきます。 例えば、MapReduceのを利用して...

GoogleのMapReduceの

MapReduceの元の実装がで書かれているGoogleのC ++ 、それは広範なパラダイムは、JavaだけであるApacheの、上のMapReduceの実装と業界で始まっていることが判明しました。 いずれの場合も、かかわらず、実装言語の、アイデアは、それが私たちの場合のように、C ++、Javaの、移動、またはのCachéObjectScriptの上に実装されているかどうか、同じまま。

[のCachéObjectScriptの実装のために、我々はとして知られている多次元配列を扱う場合にのみ使用可能ですトリックのカップルの使用、がグローバルを 。 ただ]我々は可能性があるため

図1. IspolnenievsredeのMapReduce izstati "：大の簡易データ処理MapReduceのクラスタ"、OSDI- 2004

絵上記に描かれたアルゴリズムのMapReduceの手順、見ていきましょう：

1. 入り口で、私たちは、「ファイル」、または我々はデータのいくつかの独立の部分に（partitsionirovat）破ることができることを、データの潜在的に無限ストリームのセットを持っています。

   
   
   
   
   
   
   

2. 我々はまた、我々は、入力データ片のハンドラとして割り当てることができる並列歌手のセット持っている（ローカル・ノードの内部を、または他のクラスタノード上で削除することができます）（ステップ「表示»/«マップ»）

   
   
   
   
   
   
   

3. これらの並列プロセッサは、入力データストリームを読み取り、出力ストリーム（S）「キー値」のペアを出力します。 出力ストリームは、出力ファイルに書き込まれるか、どこか他のことができます（たとえば、クラスタファイルシステムGoogleのGFSは、Apache HDFS、またはクラスタ内の複数のノード間で、他の「魔法の場所」の複製データで）。

   
   
   
   
   
   
   
4. 呼ばれる次のステージでは、「収縮»/«我々は（驚き）...畳み込みに従事しているハンドラの異なるセットを持っている»減らします 。 彼らは与えられたキー、すべてのデータの収集、および出力の次の「キーと値」として、結果データのために、お読みください。 このステップの流出物は、前のステップのように、魔法のクラスタ化されたファイル・システムまたはその類似体で書かれています。

自然の中でのバッチ - 注MapReduceのアプローチという。 あなたがパイプラインにさらに進む前に、彼は、パケットの実現の観点から、入力データの無限のストリームを処理し、そのステージのそれぞれの作品（「表示」または「縮小」）の完了を待機しません。 これは、例えば、使用されるよりモダンなラインのアルゴリズムとは対照的であり、彼らのデザインで「無限」の入力ストリームを処理することを目的としているApacheのカフカ、。

知識豊富な人は、私はまだ混乱して、考えて、このセクションをスキップし、無知。 伝統的に異なるプログラミング言語であり、異なる環境でのMapReduceの実装の説明で使用されているワード数（データ・ストリーム内の単語数）、古典的な例で見てみましょう。

だから、聞かせてのは、我々が入力コレクション（かなり大きい）ファイル内の単語の数をカウントしなければならない、と言います。 明確にするために、その単語の定義、我々は、空白文字、すなわち間の文字列を想定します 数字、句読点は、また、それは、もちろん、非常に良いではありませんが、単語の一部と考えられるが、単純な例の枠組みの中で、それは私たちを気にしません。

私はC ++の例を見ると、彼の魂の奥にあるC ++開発者として、私のためのアルゴリズムは、明確になります。 もし「あなた - ではない」すぐに我々が簡略化された方法でそれが表示されます、心配しないでください。

#include "mapreduce/mapreduce.h" // User's map function class WordCounter : public Mapper { public: virtual void Map(const MapInput& input) { const string& text = input.value(); const int n = text.size(); for (int i = 0; i < n; ) { // Skip past leading whitespace while ((i < n) && isspace(text[i])) i++; // Find word end int start = i; while ((i < n) && !isspace(text[i])) i++; if (start < i) Emit(text.substr(start,i-start),"1"); } } }; REGISTER_MAPPER(WordCounter); // User's reduce function class Adder : public Reducer { virtual void Reduce(ReduceInput* input) { // Iterate over all entries with the // same key and add the values int64 value = 0; while (!input->done()) { value += StringToInt(input->value()); input->NextValue(); } // Emit sum for input->key() Emit(IntToString(value)); } }; REGISTER_REDUCER(Adder); int main(int argc, char** argv) { ParseCommandLineFlags(argc, argv); MapReduceSpecification spec; // Store list of input files into "spec" for (int i = 1; i < argc; i++) { MapReduceInput* input = spec.add_input(); input->set_format("text"); input->set_filepattern(argv[i]); input->set_mapper_class("WordCounter"); } // Specify the output files: // /gfs/test/freq-00000-of-00100 // /gfs/test/freq-00001-of-00100 // ... MapReduceOutput* out = spec.output(); out->set_filebase("/gfs/test/freq"); out->set_num_tasks(100); out->set_format("text"); out->set_reducer_class("Adder"); // Optional: do partial sums within map // tasks to save network bandwidth out->set_combiner_class("Adder"); // Tuning parameters: use at most 2000 // machines and 100 MB of memory per task spec.set_machines(2000); spec.set_map_megabytes(100); spec.set_reduce_megabytes(100); // Now run it MapReduceResult result; if (!MapReduce(spec, &result)) abort(); // Done: 'result' structure contains info // about counters, time taken, number of // machines used, etc. return 0; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

• 上記のプログラムは、標準のargc / argvを介して渡される、処理されるファイルのリストで呼び出されます。

  
  
  
  
  
  
  

• MapReduceInputオブジェクトは、入力リストから各ファイルにアクセスするためのラッパーとしてインスタンス化され、そのデータを処理するためにWordCountクラスによって実行されるようにスケジュールされます。

  
  
  
  
  
  
  

• MapReduceOutputは、出力をGoogleGFSクラスター化ファイルシステムにリダイレクトすることによりインスタンス化されます（注/ gfs / test / *）

  
  
  
  
  
  
  

• Reducer（コンボリューション、hmm）およびCombiner（コンビネーター）クラスは、C ++ Adderクラスによって実装され、そのテキストは同じプログラムで提供されます。

  
  
  
  
  
  
  

• WordCounerクラスの場合に実装されているMapperクラスのMap関数は、一般化されたMapInputインターフェイスを介してデータを受け取ります。 私たちの場合、このインターフェイスはファイルからデータを配信します。 このインターフェイスを実装するクラスは、次の行を文字列として提供するvalue（）メソッドと、size（）メソッドの入力データの長さを実装する必要があります。

  
  
  
  
  
  
  

• ファイル内の単語の数をカウントするタスクの解決策の一部として、空白を無視し、スペース間の他のすべてを個別の単語と見なします（句読点に関係なく）。 出力「ストリーム」で見つかった単語は、Emit（単語、「1」）関数の呼び出しを通じて記述します。

  
  
  
  
  
  
  

• Reducerインターフェイスの実装クラス（この場合はAdder）のReduce関数は、別の一般的なReduceInputインターフェイスを介して入力データを受け取ります。 この関数は、Mapの前の段階で記録されたキーと値のペアから特定のキー（この場合はファイルの単語）に対して呼び出されます。 この関数は、特定のキーをアドバイスする値のコレクションを処理するために呼び出されます（この場合、シーケンス「1」）。 割り当ての一部として、Reducer関数の役割は、入力でのそのようなユニットの数と、出力チャネルへの合計数の出力を計算することです。

  
  
  
  
  
  
  
• 複数のノードのクラスターを構築した場合、またはMapReduceアルゴリズムのフレームワーク内で多くのハンドラーを開始した場合、「マスター」の責任は、発行されたキーと値のペアのストリームを対応するコレクションに分割し、これらのコレクションをハンドラーへの入力をリダイレクトすることです。

このようなマスターノードの実装の詳細は、使用されるクラスタリングテクノロジーの実装プロトコルに強く依存します。 現在の物語の括弧の外にあるこの詳細な説明は省略します。 今回の場合、CachéObjectScriptの場合、考慮されているアルゴリズムの一部（現在のWordCountなど）については、グローバルとその性質の使用により、ソートされたスパース配列として、ウィザードを簡単に実装できます。 詳細は後で。

• 一般的なケースでは、たとえば、値の完全なコレクションを一度に処理することが不可能な場合など、いくつかのReduceステップを開始する必要がしばしばあります。 次に、追加のCombinerステージが表示され、前のReduceステージからのデータの結果がさらに集約されます。

C ++実装のこのような詳細な説明を読んでも、MapReduceが何であるかまだ理解できない場合は、よく知られている1つのスクリプト言語のいくつかの行でこのアルゴリズムを説明してみましょう。

 map(String key, String value): // key: document name // value: document contents for each word w in value: EmitIntermediate(w, "1"); reduce(String key, Iterator values): // key: a word // values: a list of counts int result = 0; for each v in values: result += ParseInt(v); Emit(AsString(result));
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

この単純化された例でわかるように、map関数の役割は、一連の<key、value>ペアを発行することです。 これらのペアはウィザードで混合およびソートされ、指定されたキーの結果の値のコレクションは、reduce（畳み込み）関数の入力に送信され、出力関数<key、value>を生成します。 この場合、<word、counter>になります

古典的なMapReduce実装では、<key、value>ペアのコレクションを個別のコレクション<key、values（s）>に変換するのが、時間とリソースを最も消費する操作です。 Caché実装の場合、btree *リポジトリとECPバインディングプロトコルの実装の性質により、ウィザードでのソートと集約はそれほど大きなタスクではなく、ほとんど「無料」でマシンに実装されます。 これについては、次の記事で説明します。

おそらくこれは入門部分としては十分です-どの言語でもMapReduceの実装を開始するのに十分な情報を提供しましたが、CachéObjectScript実装自体にはまだ触れていません。 次の記事でMapReduceの実装に戻ります。 行に滞在！