カットの下で、これらのサーバーが何で構成されているか、どのように機能し、何を提供するかを詳しく見ていきます。
Open Compute Projectは、FacebookのテクノロジーディレクターFrank Frankowskiのおかげで生まれました。 業界コミュニティがオレゴン州のFacebookデータセンターのプロジェクトに精通するだけでなく、新しいアーキテクチャのさらなる開発にも参加できるようにしたのは、彼がこのイニシアチブを開始したことです。 最終的な目標は、データセンターを改善し、エコシステムを構築して、エネルギー効率とコスト効率の高いサーバーを作成することです。
一般に、このアイデアは、製品を作成および改善するオープンソースソフトウェア開発者のコミュニティに似ています。 このプロジェクトは非常に興味深いことが判明したため、大企業が支援しました。 OCPには150人以上のメンバーがいます。
サーバーおよびストレージアーキテクチャは、 OCPオープンラックの仕様に従って作成され、マザーボードや電源システムコンポーネントなどのハードウェアコンポーネントを対象としています。 このプロジェクトには、標準、特に管理標準の開発も含まれます。 昨年、OCPは新しいメンバーを補充しました。 現在、IBM、Microsoft、Yandex、Box.net、その他多くの有名企業がOpen Computeに参加しています。
安く、そうでなければ失う
OCPアーキテクチャがデータセンターの事実上の標準になると、システムの展開と管理を簡素化できます。 しかし、主なことは節約です。これにより、顧客に安価なサービスを提供し、競争の激しい市場で勝ち抜くことができます。 OCPは、MTBFの増加、サーバー密度の増加、コールドコリドーからのアクセスによるメンテナンスの容易さ、エネルギー効率の向上を目的としています。これは、数千のサーバーを運用する企業にとって特に重要です。
たとえば、Facebook Oregonデータセンターは、会社の他のデータセンターよりも38％少ない電力を消費し、広告なしの断熱冷却システムを使用し、PUE値は1.07-1.08に達します（水冷を使用しない場合）。業界平均は約1.5です。 同時に、設備投資は4分の1削減されました。
Open Computeサーバーは軽量で、高温で動作できます。 彼らははるかに軽いが、通常のサーバーよりも大きい-ケースの高さは1Uではなく1.5Uです。 彼らは高いヒートシンクとより効率的なファンを持っています。 Open Compute Serverのモジュール設計により、プロセッサ、ディスク、ネットワークカード、メモリモジュールなどのすべてのコンポーネントへのアクセスが簡単になります。 メンテナンスにツールは必要ありません。
2014年までに、OCP仕様は、サーバーからデータセンターのインフラストラクチャに至るまで、「オープン」なハードウェアのプール全体をカバーしました。 OCPを使用する企業の数も増えています。 判明したように、多くのOCPの革新は、大規模なデータセンターだけでなく、プライベート/パブリッククラウドのソリューションでの使用にも適しています。
今年、FacebookはOCPプロジェクトの一部として、さらにいくつかの開発を導入しました。 特に、Intelと共同で「チップ上のサーバー」ヨセミテでの作業が進行中であり、AcctonとBroadcomはWedgeスイッチ開発プロジェクトに参加しています。
自由からヒョウへ
このプロジェクトで作成されたテクノロジーの導入により、Facebookは3年間で20億ドル以上を節約できました。 ただし、このような大幅な節約はソフトウェアの最適化によって達成され、各タイプのアプリケーションに対して5つの標準プラットフォームが開発されたことに留意する必要があります。
現在、これらは主にXeon E5プロセッサ上のFacebook Leopardプラットフォームのバリアントです。 Intel Sandy Bridge-EPおよびAMD Opteron 6200/6300プロセッサを搭載した2012 Windmillシステムなど、レガシーサーバーの開発でした。
FacebookからのOCPサーバーの世代 | ||||||
|
| 自由（Intel）
| 自由（AMD）
| 風車（Intel）
| 透かし（AMD）
| ウィンターフェル
| ヒョウ
|
| プラットフォーム
| Westmere-EP
| インターラゴス
| サンディブリッジEP
| インターラゴス
| Sandy Bridge-EP / Ivy-Bridge EP
| ハスウェル-EP
|
| チップセット
| 5500
| SR5650 /
SP5100 | C602
| SR5650 /
SR5670 / SR5690 | C602
| C226
|
| モデル
| X5500 /
X5600 | Opteron 6200/6300
| E5-2600
| Opteron 6200/6300
| E5-2600 v1 / v2
| E5-2600v3
|
| ソケット
| 2
| 2
| 2
| 2
| 2
| 2
|
| サーモパッケージ、W
| 95
| 85
| 115
| 85
| 115
| 145
|
| ソケットのRAM
| 3x DDR3
| 12x DDR3
| 8x DDR3
| 8x DDR3
| 8x DDR3
| 8x DDR4
/ Nvdimm |
| 〜サーバーノードの幅（インチ）
| 21
| 21
| 8
| 21
| 6.5
| 6.5
|
| フォームファクター（U）
| 1.5
| 1.5
| 1.5
| 1.5
| 2
| 2
|
| ノードあたりのファンの数
| 4
| 4
| 2
| 4
| 2
| 2
|
| ファンサイズ（mm）
| 60
| 60
| 60
| 60
| 80
| 80
|
| ドライブベイの数（3.5 ''）
| 6
| 6
| 6
| 6
| 1
| 1
|
| ディスクインターフェース
| SATA II
| SATA II
| SATA III
| SATA III
| SATA III / RAID HBA
| SATA III
/ M.2 |
| ソケットごとのDIMMスロットの数
| 9
| 12
| 9
| 12
| 8
| 8
|
| ジェネレーションDDRX
| 3
| 3
| 3
| 3
| 3
| 4
|
| イーサネット
| 1 GB固定
| 2 GbEの修正
| 2 GbEの修正 + PCIeメザニン
| 2 GbEの修正
| 1GbEの修正 + 8x PCIeメザニン
| 8x PCIe
メザニン |
| 展開場所
| オレゴン
| オレゴン
| スウェーデン
| スウェーデン
| ペンシルバニア
| ？
|
| PSUモデル
| PowerOne SPAFCBK- 01G
| PowerOne SPAFCBK- 01G
| パワーワン
| パワーワン
| - | - |
| PSU番号
| 1
| 1
| 1
| 1
| - | - |
| PSU電力（W）
| 450
| 450
| 450
| 450
| - | - |
| ノード数
| 1
| 1
| 2
| 2
| 3
| 3
|
| BMC
| いいえ（Intel RMM）
| いや
| いいえ（Intel RMM）
| いや
| いいえ（Intel RMM）
| はい（Aspeed AST1250
w 1GB Samsung DDR3 DIMM K4B1G1646G- BCH9） |
Freedomサーバーの問題の1つは、冗長PSUの欠如です。 各サーバーにPSUを追加すると、CAPEXだけでなくOPEXも増加します。これは、アクティブ/パッシブモードではパッシブPSUが依然として電力を消費するためです。
シャーシ内の複数のサーバーの電源をグループ化することは論理的でした。 これは、電源がDC 12.5Vの「電源シェルフ」に配置され、4.2 kWの「ゾーン」を提供するOpen Rack v1ラックのアーキテクチャに反映されています。
各ゾーンには独自の電源シェルフがあります（3OU、OpenUnits、1OU =高さ48 mm）。 電源装置は5 + 1スキームに従ってバックアップされ、ラックで合計10OUを占有します。 電力消費が低い場合、PSUの一部が自動的にオフになり、残りが最適な負荷で動作できるようになります。
改善は配電システムにも影響しました。 サーバーのメンテナンスごとに切断する電源ケーブルはありません。 電力は、垂直電源レールを介して各ゾーンに供給されます。 サーバーがラックに挿入されると、電源コネクターがサーバーの背面に挿入されます。 別個の2OUコンパートメントがスイッチ用に予約されています。
オープンラックの仕様には48Uラックが必要です。これにより、機器内の空気循環が改善され、技術者が機器にアクセスしやすくなります。 オープンラックラックの幅は24インチですが、機器ベイの幅は21インチ、通常のラックより2インチ広いです。 これにより、3つのマザーボードまたは5つの3.5インチドライブをシャーシに取り付けることができます。
OCP Knoxその他
Open Rack v1では、新しいサーバー設計が必要でした。 PSUなしでFreedomシャーシを使用すると、多くの空きスペースが残り、3.5インチのHDDでそれを埋めるだけで無駄になります。Facebookの負荷の大部分では、それほど多くのドライブは必要ありませんでした。電源に似たソリューションが選択されました。ノード：Knoxストレージシステムが誕生しました。
一般的に、OCP KnoxはOpen Rackの下に作成される通常のJBODディスクシェルフです。 隣接するWinterfellサーバーノードのHBAはそれに接続されています。 標準の19「設計」とは異なり、30台の3.5台のディスクドライブを収容でき、保守が非常に簡単です。 ディスクを交換するには、「トレイ」を引き出し、対応するコンパートメントが開き、ディスクが交換され、すべてがスライドして戻ります。
シーゲイトは、シーゲイトキネティックとして知られる独自のイーサネットストレージデバイス仕様を開発しました。 これらのドライブは、データネットワークに直接接続されたオブジェクトストレージでした。 新しいBigFoot Storage Object Openシャーシも、これらのディスクと2OUパッケージの12個の10GbEポートで開発されました。
Facebookでは、同様の目的で、画像を保存するためのKnoxの修正であるHoney Badgerシステムを作成しました。 4つのDDR3 SODIMMスロットとmSATA / M.2 SATA3インターフェイスを備えたIntel Avoton SoC（C2350およびC2750）に基づいたPanther +コンピューティングノードが装備されています。
このようなシステムは、ヘッドノードがなくても機能します。通常はWinterfellサーバーです（FacebookはKnoxでKnoxサーバーを使用する予定はありません）。 Knoxのわずかに変更されたバージョンがアーカイブストレージとして使用されました。 その中のディスクとファンは、必要な場合にのみ起動します。
OpenRackを使用したFacebookのアーカイブシステムの別のバージョンには、36のコンテナーカートリッジとそれぞれ12のブルーレイディスクを含む24のストアが含まれます。 つまり、合計容量は1.26 Pバイトに達します。 また、Blu-rayディスクは最大50年以上保存されます。 システムの操作はジュークボックスに似ています。
Winterfellサーバー
PSUのないFreedomシャーシは、基本的にマザーボード、ファン、ブートディスクにすぎません。 Facebookのエンジニアは、よりコンパクトなフォームファクターWinterfellを作成しました。 これはSupermicroデュアルサーバーノードに似ていますが、このような3つのノードをORv1シェルフに配置できます。 1つの2OU Winterfellノードには、変更されたWindmillマザーボード、電源バスコネクタ、および電源ケーブルとファンをマザーボードに接続するためのバックプレーンが含まれています。 マザーボードには、フルサイズのx16 PCIeカードとハーフサイズのx8カード、およびメザニンx8 PCIeネットワークインターフェイスカードを取り付けることができます。 ブートディスクはSATAまたはmSATAを介して接続されます。
オープンラックv2
ORv1の展開中に、それぞれ3つのバスを持つ3つの電源ゾーンが冗長であることが明らかになりました。そのため、多くの電力は必要ありません。 新しいバージョンが登場しました-各ゾーンに3つのバスと1つのバスではなく、2つの電源ゾーンを持つOpen Rack v2。 また、スイッチコンパートメントの高さは3OUに成長しました。
栄養の変化によりWinterfellとの非互換性が生じたため、新しいプロジェクト-Project Cubbyが登場しました。 実際、Cubbyは少しSupermicro TwinServerシャーシですが、サーバーモジュールに組み込まれた2つのPSUの代わりに、電源バスが使用されます。 この設計では、パワーゾーンごとに3.3 kWの3つの電源（2 + 1）が6つではなく使用されます。 各電力ゾーンは6.3 kWの電力を提供します。 ラックの下部には、3つのバッテリーが含まれている場合があります-電源障害が発生した場合のバッテリーバックアップユニット（BBU）。
Leopardサーバー
だから、ヒョウ。 これは、Intel C226チップセットを備え、最大2つのHaswell Xeon E5-2600v3プロセッサをサポートするWindmillの最新のアップデートです。
CPUヒートシンクの増加と良好なエアフローにより、最大145 Wのサーマルパッケージ、つまり160ワットのE5-2687W v3を除くXeonファミリ全体でプロセッサを使用できます。 各プロセッサには8つのDIMMチャネルがあり、DDR4では将来的に128 GBのメモリモジュールを使用でき、最大2 TBのRAMを提供できます。これはFacebookに十分な量です。 NVDIMMモジュール（DIMMフォームファクターのフラッシュメモリ）も使用でき、Facebookはこのオプションをテストしています。
その他の変更には、外部PCIeコネクターの欠如、2つのQSFP +を備えたメザニンカードのサポート、SATA / NVMeドライブ用のmSATA / M.2スロット、および追加カード用の8本のPCIeラインが含まれます-全部で24あります。SASコネクターはありません-Leopardはノックスのヘッドユニット。
重要な追加は、ベースボード管理コントローラー（BMC）です。 これは、IPMIおよびSerial Over Lanアクセスを備えたAspeed AST1250コントローラーです。 BMCを使用すると、CPLD、VR、BMC、およびUEFIファームウェアをリモートで更新できます。 PSU負荷を制御するための電力制御も提供されます。
認定ソリューション
OCP機器は通常、注文に応じて製造されます。 しかし、Leopardの「小売」バージョンもあります。 製造業者は修正を提供します。 例には、Quanta QCTクラウドサーバーや、ドライブ数が増加したWiWynnシステムが含まれます。 HP、Microsoft、およびDellも脇に立っていませんでした。
Open Compute機器サプライヤーの数の増加に伴い、受け入れられた仕様に正しく従っていることを確認することが必要になりました。 OCP ReadyとOCP Certifiedの2つの認定があります。 1つ目は、機器が仕様を満たし、OCP環境で動作できることを意味します。 2番目は、特別なテスト組織によって割り当てられます。 それらの2つだけがあります-米国のテキサス大学サンアントニオ校（ UTSA ）と台湾の産業技術研究所（ ITRI ）です。 機器を認証した最初のベンダーはWiWynnとQuanta QCTでした。
OCPの革新はデータセンターで徐々に実装され、標準化され、幅広い顧客が利用できるようになりました。
オープンテクノロジーにより、顧客は既製または独自のコンポーネントを使用して、コンピューティングノード、ストレージシステム、ラック内のスイッチの任意の組み合わせを提供できます。 同時に、スイッチングシステムへの厳密なバインドはありません-任意のベンダーのスイッチを使用できます。
マイクロソフトの革新
マイクロソフトは、Open Computeサーバーの詳細な仕様を導入し、サーバー診断、冷却、および電力監視機能を備えたインフラストラクチャ管理ソフトウェアのソースコードを公開しました。 彼女はOpen Cloud Serverアーキテクチャを開発することでOCPに貢献しました。 これらのサーバーは、Windows Serverと連携するように最適化されており、Windows Azureクラウドプラットフォームが配置する可用性、スケーラビリティ、および効率に関する高い要件に従って構築されています。
マイクロソフトによると、サーバーコストはほぼ40％削減され、エネルギー効率は15％向上し、インフラストラクチャは50％高速で展開できます。
米国のOpen Compute Project（OCP）Summitフォーラムで、MicrosoftはLocal Energy Storage（LES）と呼ばれる別の興味深い開発-分散UPSテクノロジーを示しました。 これは、Open CloudServer（OCS）v2シャーシと互換性のある電源モジュールとバッテリーの組み合わせです。 新しいLESモジュールは、以前のPSUと交換可能です。 データセンターのトポロジと電源の冗長性要件に応じて、使用するPSUのタイプを選択できます。 通常、UPSは別の部屋に収容され、鉛バッテリーはIT機器のバックアップに使用されます。 多くの理由から、このソリューションは非効率的です。 広い領域が占有され、AC / ACおよびAC / DC（DC / AC）変換によりエネルギーが失われます。 ダブルコンバージョンとバッテリ充電により、データセンターのPUEが17％に増加します。 信頼性が低下し、運用コストが増加します。
断熱冷却に切り替えると、コストを削減し、運用を簡素化できます。
しかし、配電システムとUPSを改善する方法は？ ここですべてを根本的に簡素化することは可能ですか？ マイクロソフトは、UPS用に別の部屋を放棄し、電源モジュールをIT負荷に近づけると同時に、バッテリーシステムとIT管理を統合することを決定しました。 LESがありました。
LESトポロジでは、PSUが再設計されました。バッテリー、バッテリー管理コントローラー、低電圧充電器などのコンポーネントが追加されました。
電気自動車のように、バッテリーはリチウムイオンです。 したがって、LES開発者はPSUの標準要素である通常のバッテリーを1つのモジュールにまとめました。 それは何を与えますか？ Microsoftによると：
- 従来のUPSと比較して最大5倍のコスト削減、データセンターの電源システムは大幅に簡素化され、市販のバッテリーはエネルギー貯蔵の機能を果たします。
- バッテリーをサーバーに移動すると、従来のUPSで一般的な9％の損失がなくなります。 リチウムイオン電池では、充電中に失われるのは2％だけですが、鉛の場合は最大8％、電源の場合1％です。 その結果、PUEは減少します。
- データセンターの面積は25％削減され、これにより資本コストが大幅に節約されます。
- メンテナンスが大幅に簡素化されます-LESモジュールは簡単に交換でき、酸はありません。 障害の結果は最小限に抑えられ、ローカライズされます。
Open Compute Projectの革新は、データセンターとクラウドサービスの市場を変え、サーバーソリューションの開発を標準化し、コストを削減しています。 これは多くの例の1つにすぎません。 次の一連の資料では、他の興味深いソリューションに精通します。
Hostkaの私たちは、専用サーバーとしてリースするためにサーバー自体も作成します。従来のソリューションでは、低予算のマシンを技術的に提供することはできません。 多くの試みの後、 Aero10というコードネームの4Uプラットフォームは予備シリーズに入りました。このプラットフォームのソリューションは、2〜4コアプロセッサのマイクロサーバーのニーズを完全に満たします。
私たちは伝統的なミニITXマザーボードを使用し、残りの開発は完全に私たちのものです-ケースから配電エレクトロニクスと制御回路まで-すべてはモスクワでローカルに行われました。 現在も中国の電源を使用しています-MeanWell RSP1000-12から12V、負荷分散およびホットスワップ付き。
このプラットフォームは、Celeron J1800 2x2.4Ghz、Celeron J1900 4x2.0Ghz、i3-4360 2x3.7Ghzプロセッサー、およびフラグシップi7-4790 4x3.6Ghzに基づく専用マイクロサーバーを実装しています。 中央のセグメントでは、 ASUS P9D-Iマザーボードを使用して、同じプラットフォーム上にリモートコントロールモジュールを備えたE3-1230v3ベースのサーバーを作成します。
このソリューションを使用すると、設備投資コストを最大50％削減し、電力を最大20〜30％節約し、このソリューションをさらに開発できます。 これにより、オランダで利用可能なローン、リース、3年間の分割払い、およびその他のツールがなくても、ロシア市場で競争力のある価格を顧客に提供できます。
このプロジェクトには、同じ4U内の19個のmini-ITXブレードのソリューションが既にあり、電源と冷却システムの改善に常に取り組んでいます。 将来、このようなサーバーの運用には、従来のデータセンターは必要なくなります。
近い将来、このプラットフォームと他の開発について詳細に話し合い、購読し、注目してください。