Apache Igniteの紹介：最初のステップ

この記事の平均的な読者がApache Ignite製品に精通していないことを提案したいと思います。 おそらく、私はこの製品を使用するための可能なシナリオの1つを説明しているHabréの記事を聞いたり、読んだりしました 。 最近 、ActivitiのL2キャッシュとしてIgniteを強制的に使用することについて書きました。 おそらく、これはJavaで書かれたオープンソース製品であり、「リアルタイムで大量のデータを計算および処理するための高性能で統合された分散インメモリプラットフォーム」として位置付けられていることを知ったため、とりわけ、プロジェクトを自動的に展開する機能を備えています複雑なトポロジーのすべてのノード、あなたは彼を知りたいと思うでしょう。 そのような欲求を経験した後、Igniteの文書化はそれほどひどくなく、あまりよくないことがわかります。 チュートリアル 、いくつかのjavadocがありますが、これらのソースに精通するという完全で全体的な印象は生じません。 この記事では、主にデバッグによって得られたIgniteについての私自身の知識に基づいて、このギャップを埋めようとします。 おそらく私の結論と印象において、私は常に正しいとは限りませんが、これらは方法のコストです。 読者や私の道を繰り返したい人、つまりJava 8コア、マルチスレッド、Springコアの知識はあまり必要ありません。



この技術を使用したクラス「Hello World！」の例は、この記事で検討および準備されます。

インストールと起動

この記事の執筆時点でのIgniteの最新バージョンは1.7.0であり、調査中です（ただし、GitHubには既に1.8.0-SNAPSHOTがあります）。 Igniteを取得するには2つの方法があります。 最初に、Maven依存関係をorg.apache.ignite：ignite-core; LATESTに追加し、オプションでorg.apache.ignite：ignite-spring：LATESTにアプリケーションに追加します。 製造元のWebサイトからアセンブルされたリリースをダウンロードすることもできます。このWebサイトは 、主にMavenが接続するライブラリまたはDockerイメージで構成されています。 私はWindows 7で調査を行っているため、Dockerオプションは利用できず、バイナリディストリビューションをダウンロードしました。 ダウンロードして解凍する必要があります。解凍したフォルダーはIGNITE_HOMEと呼ばれます。 さらに、私は通常、元のチュートリアルのプレゼンテーションの順序に従いますが、場合によっては必然的にそれを場所で複製しますが、読者の便宜のためだけです。



まず、Igniteトポロジは、クライアントとサーバーの2種類のノードで構成されていることに注意してください。 通常、負荷はサーバーで実行され、弱いマシンで実行されているクライアントはサーバーに接続してタスクを開始します。 クライアントノードとサーバーノードは同じJVM内で起動できますが、ほとんどの場合、ノードはJVM 1に属します：1。 1つの物理（または仮想マシン）で、任意の数のノードを実行できます。 次に、この違いをより深く分析します。 この用語では、「Hello World！」アプリケーションは、サーバーと、その有名なメッセージをサーバーに送信するクライアントで構成されます。



Igniteノードを取得するには、ユーティリティクラスIgnitionが使用されます。 多くのメソッドのうち、5つのオーバーロードされた開始メソッドに引き続き関心があります。 そのうちの1つはパラメーターなしで、デフォルトのパラメーターでノードを起動しますが、私たちには適していません。 2番目は、 入力としてIgniteConfigurationタイプの生成された構成オブジェクトを受け取り、他の3つは、xml構成を持つリソースへのパスの形式、xml構成へのURL、またはInputStreamの形式で、同じIgniteConfigurationオブジェクトを記述するスプリング構成ファイルを受け取ります。 個人的な経験から、 新しい IgniteConfigurationを使用して手動構成でオプションを使用することはお勧めしません。 実際、IgniteConfigurationオブジェクトは複合であり、初期化する必要があるネストされたオブジェクトが多数あります。 また、一部のクラスにはプライベートフィールドが含まれており、インジェクションによって排他的に初期化されるため、ここではキャッチを非表示にできます。 たとえば、 TcpDiscoveryJdbcIpFinderクラスでは、ロガーがこの方法で挿入されます。 ご存知のように、 新しいインジェクションを介してオブジェクトを作成するときは発生せず、ロガーは初期化されずに残ります。これは明らかに、不適切な瞬間にNullPointerExceptionを引き起こします。 したがって、好みに関係なく、xml構成を記述して使用する方が安全です。 この構成は、コマンドラインからIgniteを起動するために使用できるため、このオプションも適しています。 kofigの例は、ディストリビューションのフォルダー$ {IGNITE_HOME} \ examples \ config \にあります。 最も単純な構成を以下に示します。





ここでは、「testGrid-client」という名前のノードを作成し、それがクライアントであり、アドレス範囲127.0.0.1:47500..47509、つまりローカルでサーバーを検索すると言います。 サーバーに対して、同様の構成を準備します。





サーバー構成をtest.xmlファイルに保存し、$ {IGNITE_HOME} \ examples \ configに配置します。 サーバーを起動するには、$ {IGNITE_HOME} \ binフォルダーに移動し、ignite。（Bat | sh）examples \ config \ test.xmlコマンドを実行します。 試験が行われない場合、構成は有効であり、最後に次のようなものが表示されます。







実行されたバッチファイルは、学習に役立ちます。 JVM変数を設定する標準機能に加えて、ロギングの詳細を制御するIGNITE_QUIETシステム変数の存在について学習できます。 システム変数の完全なリストは、復号化機能を備えたIgniteSystemPropertiesクラスで提供されます。 慣れるのは理にかなっています（Igniteは新しいバージョンの外観をチェックする方法さえ知っていることがわかります）。 次に、 CommandLineStartupクラスがコマンドラインから開始する役割を確認します。 彼も興味がないわけではありません。 OSXで作業している場合は、開始時にポップアップウィンドウがポップアップすることがわかります。 些細なことだが、気持が良くない-なぜそれが彼らにとって幸福なのか？ おもしろいことから、パラメーターなしでこのクラスに入ると、インタラクティブモードがオンになり、GridConfigurationFinderが検出する利用可能な構成の選択肢が提供されることが明らかです。 彼は$ {IGNITE_HOME}で検索できます。 バッチファイルを介してパラメータなしでは開始できないため、このオプションはここでは使用できません。 ただし、コマンド$ {IGNITE_HOME} \ bin \ ignitevisorcmd.batを実行できます。これはIgniteのインタラクティブな監視であり、その中でopenコマンドを実行すると、次のようなものが表示されます。







ここで、構成を指定できます。このリストでは、番号6の下にあります。6を入力した後、サーバーに接続し、







次に、コンソールでtopコマンドを入力して、トポロジを確認できます。

深く見る

CommandLineStartupクラスに戻ると、Scalaで気に入っているクラスのエイリアスに憧れている開発者を見つけることができます。簡潔にするために、Ignitionクラスの空の子孫であるクラスGを作成しました。 さて、サーバーを起動しました、次は何ですか？ 次に、クライアントを実行します。 インスタンスを実行する一般的なコードは次のようになります。





ここでは、同じ名前のノードがこのJVMで既に実行されているかどうかを確認します。実行されている場合、java.util.concurrent.ConcurrentHashMapではなく、誰かが考えているように、組織に保存されます。 jsr166.ConcurrentHashMap8。 それらの違いは何ですか？私は推測することさえ恐れています、コメントの誰かが啓発することを望みます。 また、ノードがまだない場合は、構成に基づいて作成されます。 クライアントとして接続しているため、サーバーを見つける必要があります。 TcpDiscoverySpiおよびTcpDiscoveryMulticastIpFinderは、構成内の検出メソッドとして指定され、これらのクラスは初期化され、検索操作を実行します。 主なものは次のとおりです。



ガイドラインに従って、 TcpDiscoveryImplインターフェースの2つの実装間の選択はClientImplを優先して行われます。 次に、ssl構成が指定されている場合、sslコンテキストが発生します-ソケットを作成するのに役立ちます。 TcpDiscoverySpiオブジェクトが自身を識別することは非常に重要です。このため、configでlocalAddressプロパティを設定します。 インストールしない場合、org.apache.ignite.spi.IgniteSpiException：ローカルホストをアドレスに解決できませんでした：0.0.0.0/0.0.0.0次に、内部自己診断のために、MBeanが登録されます。製品の監視。 次に、spiStartメソッドで、選択した実装が開始されます。 クライアントとサーバーの両方がトポロジに接続する必要がありますが、接続が確立されるまでクライアントはブロックされます。 構成では、localhostのポートの範囲を指定し、各ポートはIgniteが解決しようとしています。 クライアントは、これらの各ポートアドレスにjoinRequestを送信します。 この場所では、ソケットを介してのみ相互作用が可能であり、たとえば、JMSに基づいたトポロジーを構築することは不可能であるため、私は個人的に失望しました。 それは残念です。 ただし、Igniteのデフォルトポートであるポート47500でサーバーをチェックしました。 応答として、最初のハースビートサーバーを取得し、それに基づいて、対応する診断メトリックを更新します。 将来、サーバーを見つけてハースビートを受信するこのプロセスは継続的に発生します。 バイザーに戻り、トポロジの状態について尋ねると、答えは期待を満たします。







サーバーコンソールの出力に注意してください。



[15:36:11]トポロジスナップショット[バージョン= 7、サーバー= 1、クライアント= 1、CPU = 8、ヒープ= 7.1GB]

[15:37:11]トポロジスナップショット[バージョン= 8、サーバー= 1、クライアント= 0、CPU = 8、ヒープ= 3.6GB]

[15:42:15]トポロジスナップショット[ver = 9、サーバー= 1、クライアント= 1、CPU = 8、ヒープ= 7.1GB]

[15:42:24]トポロジスナップショット[バージョン= 10、サーバー= 1、クライアント= 0、CPU = 8、ヒープ= 3.6GB]



ある時点でクライアントが接続し、その後落ちたことがわかります-これは、デバッグ中で、タイムアウトによって落ちたためです。 素晴らしい。 今、あなたは世界に挨拶することができます。 このガイドでは、ビューコードの使用を推奨しています





彼は何をしていますか？ igniteオブジェクトはノードを表します。 クライアントのcompute（）メソッドは、トポロジーに関する知識に従い、その接続を考慮して、分散コンピューティングのオブジェクトを作成します。 ブロードキャストメソッドは、System.out.printlnコマンド（ "Hello World！"）から構築したジョブを非同期的に実行します。 私たちが得る結果は非常に予想外です：





サーバー側でこれと同じ操作を行います。 これは私たちが望むものとはまったく異なります。 これは、機能の驚くべき急勾配、P2Pクラスの読み込み、またはゼロ展開を含めなかったために発生しました。 この点は本物のガイドで説明されているので、繰り返しません。 ポイントは、すべてのクラスとラムダクロージャーもすべてのノードに伝播する必要があるということです。 別の方法は、クラスjarを$ {IGNITE_HOME} \ libsフォルダーに添付することです。 ただし、構成に行を追加して機能を有効にします

 <property name="peerClassLoadingEnabled" value="true"/>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

変更を加え、サーバーを再起動します。 そして乾杯！



[16:21:11]トポロジスナップショット[バージョン= 6、サーバー= 1、クライアント= 0、CPU = 8、ヒープ= 3.6GB]

[16:21:48]トポロジスナップショット[ver = 7、サーバー= 1、クライアント= 1、CPU = 8、ヒープ= 7.1GB]

Hello World！

Hello World！

Hello World！

結論

予測可能な方法で、単純な例では、深byだけでなく興味深い詳細も明らかにしました。 次のシリーズでそれらについて話すことは可能だと思います。Igniteのその他の機能はまだ影響を受けていません。

参照資料

GitHubテストケースコード