「インメモリコンピューティング」という言葉は魅力的で未来的です。 メモリにデータを保存して処理することで、ハードディスクの速度の「ボトルネック」を解消したくない人はいますか？ しかし、実際には微妙な違いがあります。たとえば、RAMの揮発性のために、データを一定に複製する必要があり、ゲインは読み取り時に得られますが、書き込み時には得られません。 これとの本当の取引は何ですか？
Sberbank Technologiesは、 Apache Igniteと積極的に連携しており、 Apache Ignite を作成した会社であるGridGainに投資しているなど、広範な関連経験を持っています。 そのため、この経験についていくつか質問をすることにしました。もちろん、盲目的に他の企業に譲渡することはできませんが、それでも価値はあります。 これらには、ビジネス開発サポートプラットフォームのコンピテンスセンターのディレクターであるAndrey Bogoslovskikhが回答しました。
-昨年、JPointカンファレンスで、GridGainとの協力は長い旅の始まりにあるとおっしゃいましたが、今はどうですか？
-1年前、約200人がSberbank Technologiesの分散データ処理の方向で働いており、現在は1000人以上です。さらに、これらはGridGainの従業員と一緒に新しいSberbankテクノロジープラットフォームを開発しているスペシャリストだけでなく、既存の新しいITプラットフォーム用のSberbankアプリケーションソフトウェア。 プラットフォームのコアは2017年末までに準備が整い、2018年にはアクティブな実装と流通が開始されます。 また、新しいITシステムを監視し、その信頼性と管理性を高めるための多くの作業があります。
-最初にApache Igniteが必要になったのはなぜですか？ その使用がタスクに与える影響を示す特定の数値を共有できますか？
-アカウントへのアクセスの簡素化（モバイルバンキング、インターネットバンキング）により、平均取引額は減少しますが、その数は急激に増加します。 10年前でさえ、セルラー通信は主に通信事業者のオフィスで1〜2ヶ月前に支払われていました。 現在、顧客は月に数回、モバイルバンクを介して通信料金を支払いますが、金額は少なくなっています。 これは、増え続けるトランザクションのほんの一例です。
したがって、高いシステムパフォーマンスは私たちにとって非常に重要であり、Apache Igniteが役立ちます。 テストによると、現在のシステムでは、Sberbankの毎日のバッチプロセスの1つは約3時間かかり、Apache Igniteでは15分かかります。 また、新しいシステムは、ピーク時の現在の1秒あたり3,000回の操作（通常は約500回）と比較して、1秒あたり10,000回以上の銀行操作によるクライアント操作を生成することが期待されています。
-Apache Igniteは、このような巨大な規模で作業しなければならない人に適していると思いますか、それとも中小企業もそれほど役に立たないでしょうか？
-製品は非常に興味深いです。 Apache Igniteは大企業だけでなく、中小企業で「すぐに使用可能」な状態で既に使用できます。これは確かに大きな利点です。 また、オープンソースプロジェクトとしての参加により、Sberbank ITソリューションの成熟度、信頼性、および有効性のレベルを誰もがアクセスしやすくすることを目指しています。
-つまり、SberTechはApache Igniteでコミットしていますが、背後のGridGain社と緊密に協力しているため、開発時に彼ら自身があなたのニーズを考慮しているのでしょうか？
-昨年末、同社の経営陣は、オープンソースプロジェクトの開発用に別の領域を作成することを決定しました。これは、同社のITランドスケープの鍵となります。
オープンソースの開発における同社の利点は、幅広い製品の可用性を高めることです。 SberTechは、信頼性、可用性、パフォーマンス、スケーラビリティの非常に厳しい要件を満たすプロジェクトの開発において、非常にユニークな経験を積んでいます。 このような経験を他の場所で得ることは困難です（同様のレベルのタスクは、Amazon、Googleなどの規模の企業によって設定されます）。 開発者コミュニティでは、ユースケースに出くわした人はほとんどいません。
私たちは、信頼性、生産性、技術的負債の排除、エコシステムの拡大、プロジェクトを統合する能力など、重要なストリームをオープンソースで開発することにしました。
Apache Igniteはこのような最初のオープンソースプロジェクトであり、GridGainと密接に連携しています。 プロジェクトの実装には多くの要件があるため、SberTechにはこの分野に別々のチームがあります。
-そして、Apache IgniteでのSberTechコミットの性質は何ですか-銀行の詳細に関連したものですか？
-Sberbankのビジネス固有のオープンソースプロジェクトを開発するタスクはありません。 潜在的な顧客を含むプロジェクトのすべてのユーザーに役立つ機能のみを紹介します。 進行中の参加について話す場合、チームはApache Ignite 1.9および2.0のリリースに取り組みました。 コミットは、バグ修正と新機能の2つのカテゴリに分けることができます。分離はほぼ同じです。 新しい機能に関しては、トランザクション性の複雑なシナリオに特別な注意が払われ、クラスターの信頼性と制御性が向上します。
-Apache Igniteでの経験に基づいて、プロジェクトをまだ使用していないが、そのプロジェクトに興味がある他の人に何をお勧めできますか？ どのような場合にうまく適合し、どの問題が発生する可能性がありますか？
-変更を恐れるのではなく、小さなことから始めることをお勧めします。 Apache Igniteには、レイテンシを減らし、アプリケーションのパフォーマンスを向上させるための広範な機能があります。 大企業にとって重要なのは、TCOを削減しながらビジネスの成長、コンピューティングおよび処理されたデータの量を確保する能力です。 この製品は、単純なタスク（サービスの応答の高速化とデータへのアクセス時間の短縮など）と、より複雑なタスク（メモリ内の分散コンピューティング、分散SQLデータベース）の両方で使用できます。 DMLサポートはすでに十分に実装されており、近い将来、コミュニティプランに基づく完全なDDLサポートが提供される予定です。 完全に新しい機能について話す場合、これはMLサポートです。 Ignite 2.0のリリースされたリリースには、分散数学のサポートを含む機械学習エンジンのベータ版が含まれています。 2017年の終わりまでに、エンジンの開発が計画されており、独創的なアルゴリズム、Python、Rなどの実装が含まれます。ApacheIgniteは、メモリ内のストレージと計算のすべての利点を備えたビッグデータの機械学習用の分散プラットフォームとして使用できるようになりました。
問題に関しては、私の経験では、プロジェクトはまだ非常に複雑であるため、能力の不足から生じる可能性があります。 したがって、開発コミュニティに接続することをお勧めします。
-Apache Igniteでの作業は1年目ではありません。ダイナミクスにおけるインメモリコンピューティングの状況がわかります。すべてがどのように発展していますか？
-私の考えでは、インメモリコンピューティングはエキゾチックな分野から標準的な開発ツールの分野に移行しています。 たとえば、NSPKはグリッドテクノロジーに基づいて、MIRカード用の統一された支払いシステムを作成しました。 主要な決済システム開発者のほとんどは、システムの将来のバージョンでグリッドテクノロジーを使用することを検討しました。
-パフォーマンスの面では、インメモリコンピューティングは大きなメリットがありますが、同時に、大量のRAMは高コストに関連しています。 従来のアプローチと比較して、これが実際にこれが「鉄」費用にどのように影響するかについてのアイデアを与える数字を教えていただけますか？
-現在のコアバンキングシステムのRAMサイズに相当するクラスターのコストは、ハイエンドソリューションの価格の1/5です。 同時に、x86ベースのクラスターは、プロセッサーの電力が大幅に向上し、大規模並列処理に適応し、水平方向に拡張されます。
クラスターは、負荷の性質に応じて、30〜200％のエネルギーを消費すると予想されます。 また、RISCソリューションと比較して、データセンターで約5倍のスペースを必要とします。
-そして、そのようなソリューションのコストが時間の経過とともにどのように変化するかを見て、将来を見据えようとすると、インメモリコンピューティングはコストの削減により成長を期待しているように見えますか？
-財務予測をする準備はできていませんが、RAMは毎年安くなり、メモリ消費量は減少します。 以前、SSDがTOPセグメントのHDDに取って代わると誰が考えたでしょうか？ RAMとNvRAMソリューションでも同様のことが起こると思います。これにより、インメモリコンピューティングの開発に新たな弾みがつきます。