Storm（「Hadoop in real time」）がオープンソースになりました

約束どおり 、Twitterはgithubに分散型リアルタイムデータ処理システムStorm （BackTypeから）を投稿しました。 これはオープンソースプロジェクトです。



このプロジェクトの作者であるNathan Martzは、 注釈で、過去10年間にMapReduce、Hadoopなどのテクノロジーについて説明しています。 大量のデータを処理する分野で真の革命を起こしました。 残念ながら、これらはリアルタイムを目的としたものではありません。 Stormは代替ソリューションを提供します。 実際、Stormは「リアルタイムのHadoop」と呼ばれ、基本的なプリミティブのセットを使用して同じスキームを実装します。 これは、 プログラミング言語をサポートする非常に信頼性が高くスケーラブルなシステムであり、Amazon EC2に1行でインストールされます。



Stormに最も近いアナログはS4（Yahooが開発）と見なすことができます。 Stormの主な違いは、Stormがデータを失わず 、使いやすいことです。



Nathan Marzは、2011年7月にTwitterが購入したBackTypeのリードプログラマーです。 HNに関するコメントで、彼はStormで作業するときに役立つリソースのリストを示しています 。



Wikiドキュメント： github.com/nathanmarz/storm/wiki

EC2でのワンクリックインストール： github.com/nathanmarz/storm-deploy

StormとともにKestrelメッセージキューサーバーを使用するためのアダプター： github.com/nathanmarz/storm-kestrel

ローカルモードで実行できるトポロジの例を含むトレーニングプロジェクト： github.com/nathanmarz/storm-starter

Nathan Martzが質問に答えるメーリングリスト： groups.google.com/group/storm-user