Nutanix、Webスケール、統合プラットフォーム、およびITインフラストラクチャの構築におけるパラダイムの変更について

非オンラインプロジェクト市場の新しい用語であるWeb-Scale ITを聞いたことがあるかもしれません。これは2017年のGartnerによると、企業のIT市場の少なくとも50％を占めるでしょう。



今年は主要なファッション用語の一つです。



現在、企業市場の状況は、 10代のセックスについてのフレーズを積極的に連想させます-誰もが持っていた（=できる）と言いますが、本当に-物事は悲しいです。



文字通り、すべてのベンダーがBigData、統合ソリューション、見通しなどについて語っています。



私たちは、これが私たちにとって本当に良いことであることを望みますが、ここでは常に外部からより目立ち、あなたの意見は私たちのものと一致しないかもしれません。



それにもかかわらず、私たちが市場をどのように変えようとしているのか、近い将来、年間数百億ドルに達すること、そしてデータを保存および処理するための従来のソリューションの時間は夕暮れに近づいていると考える理由についてお話します。











この希望の前提条件は私たちの物語であり、これについてはブログではもう覚えていませんが、「自転車ビルダーの次の先駆者」についての不必要な議論は避けます。



同社は2009年にGoogle（Google Filesystemの開発者）、Facebook、Amazonおよびその他のグローバルプロジェクトの主要エンジニアによってシリコンバレーに設立され、2012年からヨーロッパに拡大し、主要ヨーロッパチーム（例：Badoo）のエンジニアを結び付けています。

過去10年間で最も急速に成長しているテクノロジースタートアップに指名された彼らは、コンバージェンスソリューション業界の先見性のある（技術的リーダー）として既にガートナーの格付けを取得しています。

フォーブスによると、私たちは世界で最も優れた「クラウド」スタートアップです。

はい、ロシアにはエンジニアがいますが、もっとたくさんいるでしょう。 私たちは成長しています。



実際、私たちのDNAには、世界で最大のインターネットプロジェクトがあり、その主なアイデアは、常に、あらゆる規模/量のデータに対して機能することです。

私たちは、大きなファイルの助けを借りて思い付いたオープンソースのコンポーネントに基づいています-ファイルシステムのメタデータを保存するためのCassandra （「上り坂にならない」という原則に基づいてCAP定理をバイパスし、CA側に改良するための操作）、クラスター構成を保存するApache Zookeper 、 Centos LinuxおよびEXT4ファイルシステム。

内部でのBigDataテクノロジーの積極的な使用 （マーケティングではなく実際に）。



一般的に、 できます。



Remarque-用語の翻訳が不十分と思われる場合は、あまり理解せず、あまり騒ぎ立てないという要求-このトピックに関する辞書はまだ公開されていませんが、多くの概念がすでに確立されています（明確な英語主義です）。 より適切な用語をご提案いただければ幸いです。最終的には、多くの興味深い記事を書く予定です。



この記事には（Nutanixの仕組みの）イラストが添付されており、詳細な技術的な説明は後続の記事に記載されます（一晩中記事を読みたくないですか？）



さあ、行こう！ （c）ガガーリン 。







...

ウェブスケール

まず、このようないやらしい言葉が何を意味するのかを一般的に決定することは試してみる価値があります。

基本原則：

• ハイパーコンバージェンス

• 純粋なソフトウェア実装（ソフトウェア定義）

• 分散型の完全に自己完結型のシステム

• 非常に細かい粒度の線形展開

オプション：

• APIによる強力な自動化と分析

• 機器およびデータセンターの障害後の自己修復（災害耐性）。

意味を明らかにしますか？

ハイパーコンバージェンス

簡単な意味では、2つ以上の異なるコンポーネント（ネットワーク、仮想化など）を1つのユニットにネイティブに関連付けます。

ネイティブ性は、この場合のキーワードです。これは、さまざまなコンポーネントを単一のパッケージにまとめることだけでなく、完全かつ初期の統合を意味しているためです。



Nutanixの場合、当社のプラットフォームがコンピューティングとデータストレージを組み合わせているという事実について話している。 他の企業は、たとえば、ストレージシステム（データストレージシステム）をネットワークまたは他の多くのオプションと組み合わせると言います（これもハイパーコンバージェンスになります）。



Webスケールの場合の2つ以上のコンポーネントのネイティブ統合により、制限なしで線形（水平）スケーリングが可能になります。



その結果、大きな利点が得られます。

• 1つのソリューションユニット（レゴキューブなど）によるスケーリング
• 入出力のローカライズ（I / O操作の大幅な高速化に非常に重要）
• 単一ソリューションへの統合により、従来のストレージシステムを初歩的なものとして排除（ストレージなし-それに関連する問題なし）
• オープンソース（ESXi、HyperV、KVM）を含む、市場にあるすべての主要な仮想化テクノロジーのサポート。

純粋なソフトウェア実装

（非常に複雑な）専用装置（特殊プロセッサ、ASIC / FPGA）からすべてのロジックを100％ソフトウェア実装に移行します。



例として、Nutanixでは、プログラム（重複排除RAMキャッシュ、分散マップ/削減、クラスター上の遅延データ重複排除など）をプログラムで実行します。

多くの人が尋ねます-これは乱暴に「減速」する必要がありますか？ まさか。



最新のIntelプロセッサは、非常に迅速に多くのことを実行できます。

例として、特別なハードウェアを使用する代わりに。 圧縮と重複排除用のアダプター（一部の古風なベンダーと同様） -Intelプロセッサーのハードウェア命令を使用してsha1チェックサムを計算するだけです。



データ圧縮（遅延およびオンザフライ）？

Googleが使用する簡単で無料のスナッピーアルゴリズム。





データのバックアップ？



RAIDは時代遅れの古いテクノロジーであり（多くのベンダーがボトックスを大量に使用して強力な改造を試みています）、長い間オンラインプロジェクトで使用されていません。 例えば、これを読んでください： RAIDがビッグデータのために死んでいる理由 。



つまり、RAIDの問題は、作業の速度だけでなく、ハードウェアノード（ディスク、シェルフ、コントローラー）の障害後の回復時間でもあります。 たとえば、Nutanixの場合、4TBのハードドライブに障害が発生した後、 重い負荷がかかっているクラスター内の32ノードのシステム整合性（データレプリカの数）の復元にかかる時間はわずか28分です。



大規模なアレイが再構築される期間（たとえば数百テラバイト）とRAID 6-あなた自身は（何時間も、時には1日も）知っていると思います。



10TBのヘリウムディスクはすでに準備ができていることを考えると、従来のストレージシステムでは非常に困難な時代が到来します。







実際、「独創的なものはすべて単純です」。 複雑で低速なRAIDシステムを使用する代わりに、データをブロックに分割し（この場合はエクステントグループと呼びます）、必要な数のコピーを使用してクラスター全体に、そしてピアツーピアモードで（ロシア語圏では、急流の例は誰でもすぐに明確になります） 。



ちなみに、これは多くの（市場向けではない）多くの新しい用語につながります-RAIN（安価な/独立したノードの冗長/信頼性アレイ）-安価/独立したノードの冗長/信頼性アレイ。



このアーキテクチャの顕著な代表はNutanixです。









複雑に聞こえますか？ 削減：標準のX86-64ハードウェアでの純粋なソフトウェア実装で、鉄からすべての作業ロジックを取り出します。

Google / Facebook / Amazonなどとまったく同じです。



利点は何ですか？

• 高速（非常に高速な）開発および更新サイクル
• 依存関係を所有機器にリンクする
• 標準（「消費財」）機器を使用して、あらゆる規模の問題を解決します。

分散型の完全に自己完結型のシステム

アイデアはシンプルで表面にあります-専用の制御システム（コントローラー、中央メタデータノード、人間の脳など）の概念から、多くの要素間で同一の役割を均一に分配する概念に移行しています（各ノードは独自のコントローラーであり、選択された要素はありませんが、ハチの群れ）。



言い換えは、純粋に分散されたシステムです。







従来の製造業者は、機器が信頼できるものでなければならないと常に考えています。これは一般的には可能です（ただし、費用は？）。



一方、分散システムについては、アプローチが根本的に異なります。システムの実行可能性に影響を与えることなく、すべての機器が最終的に故障し、この状況の処理が完全に自動化されると常に想定されます。



私たちは「自己修復」システムについて話しているので、治療はできるだけ早く行われるべきです。







制御ロジックが調整（いわゆる「マスター」ノード）を必要とする場合、これらの選択は完全に自動である必要があり、クラスターの任意のメンバーがそのようなマスターになることができます。



これはすべて、現実にはどういう意味ですか？

• システム（クラスター）内の役割と責任の分布
• BigDataの原則（MapReduceなど）を使用してタスクを配布する
• 現在のマスターを指定するための「公選」のプロセス

非常に細かい粒度の線形展開

順次および線形（水平）拡張とは、一定量のリソース（この場合は3ノード/ノード/サーバー）から開始し、線形に拡張して線形のパフォーマンスゲインを得る機能を意味します。 上記のすべてのポイントは、この機会にとって重要です。



例として、通常、3層アーキテクチャ（サーバー、ストレージ、ネットワーク）があり、その各要素は個別にスケーリングされます。 サーバーの数を増やしても、ストレージとネットワークは古いままです。



Nutanixのようなハイパーコンバージドプラットフォームでは、各ノードを追加すると増加します。

• ハイパーバイザー/コンピューティングノードの数
• ストレージコントローラーの数（3ノード= 3コントローラー、300ノード= 300コントローラーなど）
• CPUパワーとストレージ容量
• クラスター問題の解決に関与するノードの数

難しいですか？ 簡素化：

• 単一のマイクロノードでサーバーとストレージをスケーリングし、対応するパフォーマンスを3から無限に直線的に向上させる機能。

利点：

• 最小サイズで開始する機能
• 「ボトルネック」と障害点の排除（はい、SLAは100％本物です）
• 拡張中の一貫した保証されたパフォーマンス。

...







次の記事では、技術的な詳細を説明し、初心者向けにNDFSがどのように機能するかを説明します。これは、ext4 + NoSQLで構築された新世代の分散ファイルシステムです。



追加の発表のうち、同じ原理で動作するKVM制御システムは、無限にスケーラブルであり、障害点はありません。



Highload 2014で講演し、ソリューションを「ライブ」でお見せします。 一緒に来て。



良い一日を！



psはい、はい、CAPから何を選択したか、および収束-アクセシビリティ-分割の問題をどのように解決したかを明確に説明します

気配りのある人のためのpps（誰かがこの場所を読んだ場合）-競争、KVMを管理するためのソリューションの名前を推測し、（モスクワで）賞を獲得します。