PetaBoxまたはarchive.orgアーカイブが存在する場所

少し前、2012年10月25日、インターネットアーカイブ(archive.org)は、インターネットからアーカイブされたサイトのボリュームが10ペタバイト (10,240テラバイト)を超えたことを発表しました。 しかし、これはどのように、どこに保存されますか?



短いレビューのおかげで、リポジトリ自体を見るだけでなく、いくつかの詳細を学ぶことができます。 Habrastorageが一時的に機能していないため、ua-hosting.com.uaサーバーに画像をアップロードする必要がありました。 耐えることができるといいのですが、そうでない場合はあまり蹴らないでください。後で必要に応じて画像をアップロードします:)



画像



このような大量のデータを保存するために、PetaBoxはインターネットアーカイブ専用に開発されました。 PetaBoxはCapricorn Technologiesのストレージソリューションで、1ペタバイトの情報を保存および処理するために、インターネットアーカイブおよびCR Saikleyのスタッフによって開発されました。



画像



仕様:



-容量:650テラバイト/ラック。

-消費電力:6 kW /ペタバイト。

-エアコンはありませんが、部屋を暖房するために過剰な熱が使用されます。



画像



2010年12月現在の使用済みインフラストラクチャ:



-4つのデータセンター、1300ノード、11,000台のハードドライブ。

-「タイムマシン」:2.4ペタバイト。

-コレクション内の書籍/ビデオ/音楽:1.7ペタバイト。

-合計ストレージ:5.8ペタバイト。



画像



創造の歴史



PetaBox(tm)は、インターネットアーカイブの従業員が1ペタバイトの情報を安全に保管および処理するために特別に設計されています。 開発の目標は次のとおりです。



-低消費電力:ラックあたり6 kW、ストレージクラスター全体で60 kW。

-高密度のデータ配置:100+ TB /ラック。

-データ処理にローカルコンピューターを使用する(800台のローエンドPC)。

-複数のオペレーティングシステムを使用する機能。

-標準的な19の「ケース/ラックに配置できる可能性。

-20x8x8 mの輸送コンテナに入れる可能性。

-メンテナンスの容易さ:1人のシステム管理者/ペタバイト。

-完全バックアップ(ミラーリング)の自動化のためのソフトウェア。

-スケーリングが簡単。

-安価なデザイン。

-ストレージの低コスト。



画像



物語



欧州アーカイブの最初の100 TBラックは、2004年6月に運用を開始しました。 同じ年に2番目の80 TBラックがサンフランシスコで発売されました。 その後、オンラインアーカイブにより、PetaBoxの開発と実装に特化したCapricorn Technologies社が設立されました。



画像



期間2004-2007 Capricorn Technologiesは、大規模な学術機関、政府機関、およびその他の企業向けにPetaBoxのレプリカを作成しています。 最大の製品は750ギガバイトのドライブを使用しています。 2007年、インターネットアーカイブのデータセンターには、PetaBoxテクノロジーを使用して約3ペタバイトの情報が保存されています。



現在、PetaBoxの4番目のバージョンが使用されており、その主な仕様は、4Uユニットあたり24台のディスク、Ubuntuを実行しているラック内の10台のそのようなユニット、1ラックで2TBの240台のディスクです。



画像



コンテナ内のオンラインアーカイブ



結論として、インターネットアーカイブ用にSANが開発したトランスポートコンテナに注目したいと思います。 コンテナの20x8x8メートルの容量は、米国議会の図書館全体を55倍節約します!






All Articles