Facebookが猫のアザラシや自撮りユーザーを保管するのに必要なエネルギーを75%節約した方法



オレゴン州のFacebookコールドデータセンター



Facebookなどのサービスが人気を博した理由の1つは、そのパフォーマンスが高いことです。これにより、サイトの遅延や遅延は事実上ありません(またはほとんどありません)。 写真やビデオのダウンロードの遅延が常に発生する場合、おそらくFacebookは以前ほど活発に開発できず、現在発生している可能性があります。 しかし、このサービスの人気は高いため、生産性を可能な限り迅速に向上させる必要があります。



この場合、大規模なだけでなく、生産性を高める集中的な方法も使用されます。 言い換えれば、すべてとすべての人を最適化する必要があります。 また、小さな会社でもコンピューターネットワークの運用の最適化に多くのお金が費やされることが多いため、別の問題があります。 Facebookのような巨人について言えること-ここでは、最適化コストは数億ではないとしても数十と考えられます。 ただし、このような規模では、小規模な最適化の成功例でも数百万ドルを節約できます。



「インフラストラクチャ」Facebookチームは、ほとんどすべての時間を、機器またはソフトウェア(ローカルまたはクラウド-それほど大きな違いはありません)の効率を高める方法について考えることに費やしています。 今年の初めに、チームはソーシャルネットワークの運用を最適化するための興味深い計画を策定しました。この計画は非常に効果的であることが判明しました。



そのため、2つのFacebookデータセンターは、すべてのユーザーの写真とビデオを保存することと、対応するトラフィックの質の高いサービスを維持することをほぼ唯一の目的として設計および構築されました。 これらのデータセンター(コールドストレージデータセンターと呼ばれる)は少数のタスクで「シャープ」になったため、チームは非常に多くのシステムを最適化し、データセンターによるエネルギー消費を削減し、最も高価なストレージ機器も使用しませんでした。



どのように機能しますか?





同社は、メディアファイルを保存するために最も複雑な方法ではなく、非常に効果的な方法を使用し始めました。 そのため、Facebookユーザーの各画像は、会社のDCに投稿された複数のコピーに保存されます。 コピーは、メインデータセンターと「コールドストレージ」のセンターの両方に保存されます。



新しい、より人気のあるファイルは、ほとんどの人が見ることのない古い写真よりも「ホットな」データセンターのコピーに多く保存されます。 「コールドストレージ」システムの主な機能は、いつでもすべてのファイルを常に利用できるようにすることです。



「コールドストレージ」システムにはあまり人気のない写真のコピーが含まれているため、エンジニアはバックアップ用の電気インフラや緊急発電機を使用しないことにしました。 これはお金を節約する1つの方法です。



コールドストレージシステムは、Open Compute Projectによって開発されたストレージ標準であるOpen Vaultのわずかに変更されたバージョンです。 ここで興味深い点は、バスケット内で同時に動作しているハードドライブは1台だけであることです。





少数のバッテリー、クーラー、その他の要素を備えた、変更されたストレージシステムOpen Rack



現時点で必要なディスクのみを含む、特別なソフトウェアが各ディスクを制御します。 したがって、「コールド」ストレージシステムは、システムで動作するすべてのハードドライブのわずか6%の同時動作に必要なエネルギーを消費します。 その結果、すべてのハードドライブが同時に動作する従来のストレージシステムで使用されるエネルギーの25%しか消費されません。 これにより、Open Rackでは3つではなく1つのセクションの電源(電源シェルフ)のみを使用できます。 また、7の代わりに5つの電源を使用します。また、Open Rackの導電性バスの数は3から1に削減されます。はい、クーラーの数は3から1に削減されます。



10 + 10 = 14





Facebokのエンジニアは、ハードウェアの最適化に加えて、ソフトウェアの最適化も行っています。 たとえば、ストレージシステムは、リードソロモンと呼ばれるエラー修正テクノロジーを使用します。 これにより、メディアファイルのコピーを保存するために必要なメモリ量を削減できます。 このテクノロジーは、コピーを全体ではなく部分的に保存します。 必要に応じて、Reed-Solomonは、現在使用可能なすべての領域からファイル全体を部分から収集します。



したがって、ファイルが10の部分に分割されている場合、2つの部分は2つの(たとえば)場所に格納されるのではなく、14のみに格納されます。





Facebook Reed-Solomonの説明



次は?





「コールド」ストレージシステムは完全に機能し、2つのデータセンターには現在よりも多くの情報を保存するのに十分なボリュームがあるという事実にもかかわらず、Facebookチームは次の動きを検討しています。



そのため、今日、西海岸の「ホット」データセンターに保存されているデータは、東海岸の「コールド」データストレージシステムに複製されています。 会社の次のステップは、すべての「コールド」ストレージシステムでのリードソロモンテクノロジーの使用です。



3番目の「コールド」データセンターであるこのようなシステムが構築されると、システムは実質的にエラーがなく、非常に信頼性が高くなります。 データセンターの1つがオフラインになっても、他の2つのDCに保存されたデータはFacebookの通常の操作を維持するのに十分です。 まあ、2つのデータセンターを一度に切断する可能性は非常に小さいです。



All Articles