テラスケールOCSソリューション

Open Compute Projectについての以前の記事で、ハイパーデータセンターを構築するためのオープンプラットフォームを広めるためのFacebookのイニシアチブについて話しました。 アイデアはシンプルです。既存のソリューションは運用に適していないため、自分に合ったものを作成する必要があります。



ブログの投稿で、 Microsoftはインフラストラクチャ上に構築されたAzureクラウドサービスの使用方法について多くのことを語っています。 インフラストラクチャは、最終的にマイクロソフトのビジョンのために「ゼロから」開発されました。



プラットフォームの公開プロセスは伝染性であることが判明したため、マイクロソフトはこのイニシアチブに参加し、最適なインフラストラクチャのビジョンを共有しました。これについて詳しく説明します。











主な機能

1. 幅は標準の19インチです。 シャーシ12U高。
2. 統合された冷却および電力システム。
3. 統合サーバー管理システム。
4. すべてのメンテナンスは、ケーブル管理に影響しません（問題がスイッチにある場合を除く）。
5. 標準のPDUが使用されます。
6. 電源はフォームファクターでラックマウントルーラーと一致します。

フルラックビュー



アーキテクチャの詳細





構造



シャーシは、サーバーおよびディスクシェルフ用の汎用バックプレーン、配電盤、電源、リモートコントロールコントローラー、およびファンテキストウォールを備えたバスケットが設置された複雑なトラフです。





背面図



6つの大型ファン（140 * 140 * 38）がヒンジ付きドアの単一ユニットに結合され、制御はシャーシコントローラーから行われます。 ドアは、I / Oポートとケーブル用のスペースを閉じます。ケーブル用スペースには、正確な配線と取り付けのために特別なチャネルが配置されます。







マイクロソフトは、標準の19インチラック50Uを使用します。そのうち48Uはサーバーが直接占有し、別の2Uはスイッチ専用です。電源とPDUはラックの片側にあり、OCPとは異なりスペースを取りません。







各シャーシにはサービスモジュールが組み込まれ（詳細は後述）、6つの電源（ RS130 G4 、 RS230 G4モデルとまったく同じ）が5 + 1スキームに従って配置されます。





バスケットの背面図



使用するモジュールに関係なく、バスケットのポートのセットは同じであるというのが良い考えです。 2つのSASポート、2つのSFP +ポート、および2つのRJ45ポートが常に表示され、2番目の側からそれらに接続されるものはその場で決定されます。



フォーマット比較

	オープンラック	オープンクラウドサーバー	19”スタンド
内幅	21”	19”	19”
ラックの高さ	2100 mm（41 OU）	48-52U、12U /シャーシ	42-48U
OU / RU	OU（48 mm）	RU（44.45 mm）	RU（44.45 mm）
冷却	システム（HS /固定）	壁ファン（6個）	システム内
ファンサイズ	60ミリ	140ミリメートル	異なる
パワーバス	3ペア	-	-
パワーゾーン/予算	3、36 kWまでの予算	4、28 kWまでの予算	-
パワーシェルフ	前部	後ろ	-
電源シェルフサイズ	3 OU	0 U	0 U
統合UPS	はい	はい（近日公開予定）	いいえ（ただし、誰も面倒を見る必要はありません）
ラック管理	はい、RMC（ただし完全な耐性はありません）	はいCM	-
ブレード識別（スレッドID）	いや	はい（シャーシ内）	いや
ケーブル	前部	後ろ	前面または背面

冷却システムの効率

総システム消費量7200 W（24ブレードx 300 W）
外気温（°C）	ファン速度（％）	ファン消費量（W）	ファン消費量（W）	ラックあたりの消費の割合（％）
25	66	19,2	115,2	1,6
35	93	40,2	241.2	3.35

制御システム





シャーシマネージャー



管理サーバーは「ホット」に挿入および削除され、ソフトウェアパーツはWindows Server 2012上に構築されます（これは驚くことではありません）。 ソースコードは一般に公開されており、誰でも独自の変更を行うことができます（ツールキットは無料で使用されます）。





一般的な考え





直接手数料



機能：

• 入力/出力（I / O）：
  
  -2 x 1GbEイーサネット（ネットワークアクセスまたはToRスイッチ管理用）
  
  -4 x RS-232（スイッチを接続して負荷を制御）
  
  -電源管理（1つの入力、PDUまたは別のCMMを接続するための3つの出力）
• Windows Server 2012
• ホットスワップモジュール
• 鉄：
  
  -統合Atom S1200プロセッサー
  
  -ECC付き4GBメモリ
  
  -64GB SSD
• オプションとしてのTPMモジュール
• 統合されたブレード通信マルチプレクサ
• ブレードの電源管理は個別に推定されます（信頼性が高いため）

タイヤ配線





コネクタをどのように通過しますか



ソフトウェア部分は忘れられていません：





論理回路



帯域外部分

• CMには、制御システムをスケーリングするためのRESTのようなAPIとCLIコマンドラインがあります
• ファン制御/モニター
• PSU制御/モニター
• シャーシの電源管理のオン/オフ/リセット
• シリアルコンソールリダイレクト
• ブレード識別LED
• TOR電源制御のオン/オフ/リセット
• パワーマッピング

インバンド部

• BMCブレードは、KCSインターフェースを介した標準IPMIで動作します
• Windows-WMI-IPMI
• Linux-IPMItool
• 識別、シャーシ電源、イベントログ、温度モニター、電源管理、消費電力上限、HDDおよびSSD監視。

FacebookはIntel MEの機能に依存しており、Microsoftはすでに馴染みのあるものを活用しています

BMCを使用したIPMI。



ブレード







2つのタイプのブレードが開発されています。1つはサーバー用、もう1つは10ディスクJBOD用です。





可能な組み合わせ



もちろん、必要に応じて、少なくとも2台のサーバー、少なくとも両方のJBODを組み合わせることができます。





ケーブルはそのまま



ケーブルはバックプレーンに接続されているため、ブレードを交換するには、バスケットを取り外すだけで十分です（OCPとの大きな違い）。 このアプローチにより、メンテナンス時間が短縮され、ケーブルを再接続する際に発生する可能性のあるエラーがなくなります。

仕様書	OCSサーバー
CPU	ノードあたり2 x Intel Xeon E5-2400 v2、最大115 W
チップセット	Intel C602
記憶	サーバーあたり12個のDDR3 800/1066/1333/1600 ECC UDIMM / RDIMM / LRDIMMスロット
ディスク	4 3.5 "サーバーあたりSATA
拡張スロット	[オプション=「コンパクト」] * 1 PCIe x16 G3 * SAS mezz * 10G mezz
運営管理	I2Cバスを介してChassis Managerに接続されたBMC-lite

PCIeスロットは、PCIeフラッシュカードの使用という非常に特定の目的のために設計されています。





離婚したメザニンボード

仕様書	OCS JBOD
コントローラー	1 SASインターフェイスモジュール（SIM）
外部ポート	2つの6Gb / sミニSASポート
ディスク	10 3.5 "SAS / SATAホットスワップ可能なバスケット全体
運営管理	SCSIエンクロージャサービス（SES-2）

ディスクシェルフ



ネットワークインフラ



すべてのネットワーク接続は10Gであり、ギガビットは管理のみに使用され、どこでも使用されません。 重要なポイント-マイクロソフトは、ソフトウェア定義ネットワーク（SDN）テクノロジーの普及に非常に積極的であり、独自のサービスはソフトウェアで構成されたネットワークに基づいています。



過去のイーサネットサミットで、SDNネットワークを監視するための製品であるDEMon が6つの賞のうち6つを受賞し、同社はプラチナスポンサーのOpenDaylightのリストに載っています。



同時に、SDNをサポートするハイブリッドネットワーク向けの製品-ポートコストが100ドル未満のEos 410iスイッチを長い間発表していることをお知らせします:)







合計



業界の大企業はSoftware Defined Datacenterに依存しており、Microsoftも例外ではありません。 イーサネットテクノロジーの開発により、10GとRDMA（RDMA over Converged Ethernet、RoCEを使用）は、個別のFCネットワークなしで実行できるという事実に至りました（RDMAからの成長については、 habrahabr.ru / company / etegro / blog / 213911を参照 ）。 。 Windows Storage Spacesの機能により、ハードウェアストレージシステムは、共有DAS / SASネットワーク上のソリューションに徐々に置き換えられています（詳細については、ここhabrahabr.ru/company/etegro/blog/215333およびhabrahabr.ru/company/etegro/blog/220613に記載されています）。



MSバージョンの利点：

シャーシ設計によりコストと電力を削減

• 標準ラックEIA 19 "
• モジュラー設計により、展開が簡素化されます。取り付けられた側壁、1Uバスケット、高効率電源、効率的な制御のための大型ファン、ホットスワップ可能な制御ボード
• シャーシあたり最大24台のサーバー、オプションのJBODシェルフ
• 受託製造向けに最適化
• 従来のエンタープライズサーバーと比較して最大40％および15％優れたエネルギー効率のコスト削減
• 100万台のサーバーごとに10,000トンの金属の節約が期待されます（ここでは明らかに曲がっており、サーバーあたり10 Kgは多すぎます）

すべての信号線と電力線は、固定コネクタを介して送信されます

• サーバーとシャーシの分離により、展開と復旧が簡素化されます
• ケーブルを使用しない設計により、メンテナンス時の人的エラーを低減
• ケーブルのゆるみによる事故の減少
• 展開とメンテナンスの時間を50％短縮

単一のバックプレーン上のネットワークおよびSASケーブル

• パッシブPCBは設計を簡素化し、信号損失のリスクを低減します
• さまざまなネットワークおよびケーブルタイプ、10 / 40Gイーサネットおよび銅線/光ケーブルがサポートされています。
• ケーブルは、組み立て中にシャーシごとに1回配線されます
• 運転中および保守中にケーブルが触れない
• 100万台のサーバーで数百キロメートルのケーブルを節約

安全でスケーラブルな管理システム

• 各シャーシ内のサーバー
• 保護のいくつかのレベル：ブート時のTPM、チームのSSL転送、ADからの役割に基づく認証
• 管理システムを拡張するREST APIおよびCLI
• 通常のサーバーよりも75％使いやすい

おわりに



ブレードの次の化身の発明が行われました。 残りとの主な違い

-完全にオープンなプラットフォーム仕様と標準ネットワークスイッチの使用。 企業の有名なサークルの従来のブレードでは、ネットワークパーツの選択は開発者の想像力によって制限されます。オープンソリューションでは、使用されているジュニパーから独自のデザインのSDNスイッチまで、既存の製品を使用できます。



さて、 製品ラインでOpen CloudServerに基づくソリューションを紹介しました。