予算ペタバイト：安価なクラウドストレージを構築する方法。 パート2

継続する。 ここから開始

ワイヤーの接続：Backblazeストレージコンテナーの組み立て方法

Backblazeストレージコンテナの電源配線図を以下に示します。 電源（PSU）は、5Vと12Vの2つの異なる電圧でほとんどの電力を供給します。 45個のドライブには多くの5Vの電力が必要なため、コンテナでは2つのPSUを使用しますが、強力なATX PSUはほとんどの電力を12Vバス経由で供給します。 これは偶然ではありません。1500W以上の強力なATX PSUは、12Vバスで追加の電力を必要とする強力な3Dビデオカード用に設計されています。 1台のサーバーPSUをお勧めしますが、2台のATX PSUの方が安価です。









BP1は3つのフロントファンとポート1、2、3、4、および7のマルチプライヤパネルに給電します。BP2は他のすべてに給電します。 （各PSUの特別なコネクタの詳細なリストについては、付録Aを参照してください）。 ポートマルチプライヤのパネルに電力を供給するために、電源ケーブルはPSUからファンが保持されている分離金属プレートの4つの穴を通り、ケースの中央（ファンの底面近く）にあり、9つのパネルの底部に通っています。 下側のポートマルチプライヤの各パネルには、2つのオスMolexコネクタがあります。 ハードドライブは、ドライブの最初のスピンアップ中に最大の電力を必要とするため、両方のPSUを同時にオンにすると、コンセントから120Vの電力の大きなピーク（14アンペア）が発生します。 最初にBP1をオンにし、ディスクがスピンアップするまで（そして電力消費が適切な値に低下するまで）待ってから、BP2をオンにすることをお勧めします。 完全にオンにすると、コンテナ全体がアイドル時に約4.8アンペア、高負荷時に最大5.6アンペアを消費します。



以下は、部分的に組み立てられたBackblazeストレージコンテナーの写真です（写真をクリックすると拡大します）。 底部の金属ケースには、ナイロンガスケット（下の写真の小さな白いもの）を取り付ける上向きのネジがあります。 ナイロンは振動を抑えるのに役立ち、これはサーバー設計の重要な側面です。 ナイロンガスケットの上に示されているボードは、9個のSATAポートマルチプライヤパネルのいくつかで、下部に1個のSATAコネクタがあり、ボードの上部に5個のハードドライブを垂直に挿入できます。 すべての電源ケーブルとSATAケーブルは、ポートマルチプライヤパネルの下に入ります。 下の写真のパネルの1つは、配置を示すためにハードドライブで完全に満たされています。







ディスクの振動に関する注意：ディスクは、上の写真のように立てたままにすると振動しすぎます。そのため、赤い金属のグリルとディスクの間のハードドライブに「防振スリーブ」（ほぼゴムテープ）を巻き付けます。 これにより、ディスクがゴムでしっかりと保持されます。 また、45個すべてをケースに挿入した後、ハードドライブの上部に沿って大きな（40 cm x 42 cm x 3 mm）の多孔質材料を置きます。 その後、カバーを多孔質材料の上にねじ込み、ディスクをしっかりと固定します。 将来的には、ブログ記事全体をバイブレーションに捧げます。



以下は、SATAケーブルの配線図です。







4つのSATAカードがIntelマザーボードに挿入されます：3つのデュアルポートSYBAボードと1つの4ポートAddonicsボード。 9 SATAケーブルは、SATAボードの上部に接続し、電源ケーブルと一緒に接続します。 9本のSATAケーブルはすべて91 cmの長さで、ポートマルチプライヤパネルの側面にラッチのあるL字型コネクタと、SATAボードの側面にラッチのないストレートコネクタを使用します。



SATAチップセットに関する注意：各ポートマルチプライヤボードにはSilicon Image SiI3726チップが含まれているため、5つのドライブを1つのSATAポートに接続できます。 SYBA 2ポートPCIe SATAカードにはそれぞれSilicon Image SiI3132が含まれ、Addonics 4ポートPCIカードにはSilicon Image SiI3124チップが含まれています。 ポートマルチプライヤパネルは9つしかないため、Addonicsボードで使用可能な4つのポートのうち3つだけを使用します。 IntelがサウスブリッジICH10でポートマルチプライヤをサポートすると主張しているにもかかわらず、パフォーマンステストで奇妙な結果に気づいたため、マザーボードでSATAポートを使用していません。 Silicon Imageはポートマルチプライヤテクノロジーの先駆者であり、それらのチップが最もよく機能します。

Backblazeストレージコンテナーはフリーソフトウェアで実行されます

Backblazeストレージコンテナーは、起動してオンラインになるまで完全な構成要素ではありません。 コンテナは64ビットDebian 4 LinuxおよびJFSファイルシステムで実行され、HTTPSを介してアクセスおよびアクセスされる自己完結型のデバイスです。 以下にレイヤー図を示します。







下から順に、SATAコントローラを介して45個のハードドライブを使用できます。 次に、Linuxでfdiskユーティリティを使用して、ディスクごとに1つのパーティションを作成します。 この上で、1つのRAID6ボリュームに15台のハードドライブを組み合わせ、2台のパリティドライブ（15台のうち）を組み合わせています。 RAID6はmdadmユーティリティによって作成されます。 JFSファイルシステムはこの上にあり、Apache Tomcat 5.5の特別なレベルのBackblazeプログラミングロジックに基づくHTTPSを介したリポジトリの完全に自己完結型のビルディングブロックへのアクセスを許可する唯一のタイプのアクセスです。 これらすべてを考慮すると、フォーマットされた（使用可能な）スペースは、ハードドライブの未加工容量の87％です。 ここで最も重要な側面の1つは、Backblazeストレージコンテナーへのデータの読み取り/書き込みがHTTPS経由でのみ行われることです。 iSCSI、NFS、SQL、ファイバーチャネルはありません。 これらの技術はどれもそれほど安く、確実に拡張できず、そのようなサイズに達することができず、それぞれが独自のIPアドレスを持ち、HTTPS要求を待機するスタンドアロンコンテナほど簡単に管理されません。

Backblazeストレージコンテナー-ビルディングブロック

コンテナの信頼性と優れたパフォーマンスに非常に満足しており、Backblazeストレージコンテナは完全に独立したストレージサーバーです。 ただし、データの保存場所と暗号化、インデックス付け、重複の排除のロジックは、この投稿の範囲を超えて、より高いレベルにあります。 数千のハードドライブ、プロセッサ、マザーボード、電源を備えたデータセンターを管理する場合、ハードウェア障害が発生します。これは否定できません。 Backblazeストレージコンテナは、シングルポイント障害を許容しないより大きなシステムを構築できるビルディングブロックです。 各コンテナは、それ自体が低価格の大きな未加工のストレージです。 彼自身はまだ「決定」ではありません。

クラウドストレージ：次のステップ

安価なクラウドストレージを構築するための最初のステップは、すでに安価なストレージを用意することです。上で、独自のストレージを作成する方法を示しました。 必要なのが安価なストレージだけであれば、それで十分です。 クラウドを構築する必要がある場合は、引き続き作業する必要があります。



クラウドを構築するには、多くのハードウェアをインストールするだけでなく、重要なこととして、ハードウェアを管理するソフトウェアを展開する必要があります。 Backblazeでは、重複を排除し、データをブロックに「スライス」するプログラムを開発しました。 バックアップのために暗号化して送信します。 複製ブロックを再構築、復号化、再作成し、リカバリ用にデータをパックします。 最後に、クラウドストレージシステム全体を監視および管理します。 このプロセスは、長年開発してきた独自の技術です。



このプロセスのために独自のシステムを所有し、Backblazeストレージコンテナーの設計を実装することも、クラウドに含まれない安価なストレージを探しているだけの場合もあります。 どちらの場合も、上記のストレージコンテナーの設計を自由に使用できます。 そうした場合、Backblazeへのリンクに感謝し、あらゆる洞察を歓迎しますが、これは必須ではありません。 デザインコンテナまたはストレージコンテナ自体は販売していないため、サポートや保証は提供していません。



次のシリーズ：数週間で、iPhoneの振動センサー、スイスのチーズのような容器の設計、電気のトラフィックが増える理由、大規模なクラウドストレージの設計について説明します。

謝辞。 私たちは巨人の肩の上に立った。

Backblazeストレージコンテナの設計は、私たちの質問に答え、私たちと協力し、重要な瞬間に重要な説明をしてくれた、非常に賢くて寛大な人々の膨大な助けなしで不可能でした。 まず、クリス・ロバートソンに、独自のリポジトリを構築するためのインスピレーションと、プロトタイプに関する初期の仕事に感謝します。 Kurt Schaeferは、金属加工とプリント回路基板の「家具」の概念に関するアドバイスを求めています。 ハードドライブ、振動、および認証に関するアドバイスについては、Apple Computerのドミニクジャンパオロ。 低レベルのネットワーキングのヒントについては、Apple ComputerのStuart CheshireとAlcatel-LucentのNick Tingle。 シックス・アパートのアーロン・エミ（EVP＆GM、コアテクノロジー）は、初期設計を支援してくれました。 ドライブの信頼性とストレージ業界全般を明らかにしたゲイリー・オレンシュタイン。 振動、ファン、冷却、ケース設計に関する貴重なアドバイスを提供するジョナサンベック。 Silicon ImageのSteve Smith（シニアデザインマネージャー）、Imran Pasha（ソフトウェアエンジニアリングディレクター）、およびAlex Chervet（ストラテジックマーケティングディレクター）。SATAプロトコルの問題のデバッグを支援し、テスト用に10種類のSATAボードを貸し出しました。 設計を簡素化するためにSATAボードを開発した台湾のChyang Fun IndustriesのJames Lee。 Western DigitalのWes Slimick、Richard Crockett、Don Shields、Robert Knowlesは、Western Digitalのドライブログのデバッグに協力してくれました。 3-Dケースデザインに何百もの小さな機能強化を提供してくれたChrista Carey、Jennifer Hurd、Shirley Evelyのプロトタイプ。 セントラルコンピューターのChester Yeungは、現地で供給された部品を本当に重要なときに迅速かつ継続的に提供しました。 電源と特別なケーブルに関するヒントについては、ZippyのMason Lee氏。 そして、すべての適切な人々を知り、それらを適切に代表してくれたアンジェラ・ライ。



最後に、Intelプロセッサ、ギガビットイーサネット、非常に高密度のハードドライブ、Linux、Tomcat、JFSなど、安価または完全に無料のコンテナコンポーネントを入手するために何百万時間も無料で働いた何千人ものエンジニアに感謝します。私たちは巨人の肩の上に立つことを知っています。

付録A. Backblazeストレージコンテナーコンポーネントの詳細なリスト。

翻訳者から：付録Aは、きちんとしたテーブルとして設計されていますが、Habrのツールを使用して再現することはできません。 さらに、私の意見では、760ワットの電源、数量、価格、合計、SATA IIケーブルに変換することは不満です。 したがって、 元の英語の投稿の最後に元のアプリケーションを参照してください。