ラック内の132台のサーバー、またはどのように凝縮してバーストしないようにするか

1つのラックに132台のサーバー



2年前、私は最初にブログで、仕事で使用しているDELLサーバーについて話しました 。 新しい機器について話をする時です。この間に多くのことが変わりました。 Fastは長い間書かれたくありませんでした。写真はほこりっぽくなりましたが、遅くなることはありませんでした。



この投稿では、新しいDELL PowerEdge Cシリーズサーバー(クラウドのC)、および新しい機器のおかげで、DCのサイトの容量を2倍にし、同時に運用コストを同じレベルに維持した方法について説明します。





鈍い非ゴムの世界(忍耐、さらに写真)



約1年前、Rusonixはインフラストラクチャの成長の問題に真剣に直面していました。 サーバーを上品でありながら非常に高価なDC(Comcor / WarsawのAkado)に配置しました。 各ラックは飛行機のように見えますが、プラットフォームでは、ラックごとに最大10〜15 kWの大量の電力を割り当てることができます。 比較のために、典型的なモスクワのエコノミークラスのデータセンターでは、ラックごとに3〜5 kWが割り当てられています。 他にもプラスはありますが、今はそうではありません。



ですから、私たちが広範囲に成長することは非常に高価でした。 さらに、私たちが行うすべてのことにおいて、利用可能なリソースを可能な限り効率的に使用しようとします。 安価なDCへの移行は私たちの方法ではなく、企業のクライアントは単に理解しません。 さらに、ブランドのDellサーバーをレンタルするプロジェクトを立ち上げたかったのです。



したがって、次のタスクに直面しました。



すぐにゼロオプションを実装しました-ゴミをゴミ箱に捨てました。



画像



いくつかの深刻な解決策がありました。

  1. 安価なデータセンターへの移動。
  2. リーズナブルな価格で平均的なデータセンターへの重要ではないサービスの部分的な移転。
  3. 既存のサイトでの機器の圧縮。


最初のオプションは、真剣に考慮されていませんでした-高すぎるコスト、リスク、および予測できない結果。



2番目のオプションを検討し、すべての長所と短所を比較検討した結果、このゲームには価値がないという結論に達しました。 障害点が増加し、リスクが増加し、固定費が増加しています。



既存のサイトで機器の圧縮を行うシナリオがありました。 残念ながら、ラバースタンドはまだデータセンターに配信されていません。 私は何で作業しなければなりませんでした。 ラックには42個のユニットがあります-多かれ少なかれ。 そして、このタグを取り上げました。ラック間でサーバーをシャッフルしたり、スイッチを交換したり、その他の興味深いがあまり効果的ではないことです。



幸いなことに、DELLは2011年にPowerEdge C5220およびC6100サーバーを発表しました。 そして、楽しみが始まりました。



あなたが来てくれてありがとう(さらに写真)





C5220は、1つの3UケースでR210レベルの8または12台のサーバー/トラック(DELL用語ではスレッド)です。

画像

dell.comからの写真



C6100は、1つの2Uパッケージで4台のR610サーバーです(スポイラー:ビースト、車ではありません。C6100は別の投稿に値します)。

画像

dell.comからの写真



私たちは、新しいラインの差し迫ったリリースについて誤って知り、そのようなサーバーを提供する可能性についてロシアの駐在員事務所からすぐに情報を要求しました。 サーバーは在庫切れだけでなく、アメリカンDELLサイトにもありませんでした。 そしてもちろん、プラットフォームはロシア連邦では認定されていません。 価格、供給および認証の割り当てを待つ長い月が続いた。



ロシアのDELLは非常に迅速に機能し、11月にC5000プラットフォームの最初のサーバーが届きました。 世界初、ロシア連邦初。 言うまでもなく、私たちのエンジニアと代理店であるWirthの代表者の両方が奇跡の腺を私たちの周りに集めました。



C5000は、中央の電源と冷却を備えたケースです。 ケースに挿入された「カートリッジ」-トレース。 8または12があります。12トラック構成のみを使用します。 8トレースでは、より強力なプロセッサと拡張カードをインストールできます。 8トラックの最初のバッチはすでに税関を通過しており、日々私たちと一緒にいます。



画像



各トラックは、独自のディスク、メモリ、ネットワークインターフェイス、KVMを備えた個別のサーバーです。



画像



プロセッサ用のスロットは1つだけです。TDPが最大65WのXeon E3シリーズがサポートされています(8トラック構成では最大95W)。 E3-1260Lを配置しました。これは、低消費電力、高性能(4コア、8スレッド、2.4〜3.3 GHzのTurboBoost)、およびリーズナブルなコストを兼ね備えた最新のE3ラインの最も最適なプロセッサーです。

AMDプロセッサにも同様のプラットフォームがありますが、このベンダーの製品は使用していません。したがって、それらについては何も言えません。



画像



最適な冷却とパフォーマンスのために、4つのメモリスロットを完全に使用することをお勧めします。 最大サーバーは、最大32GB DDR3 ECC UDIMM(1333 MHz)をサポートします。



画像



トラックには、2台の3.5インチドライブまたは4台の2.5インチドライブ用のスペースがあります。 2つの大きなディスクを配置します。 このようなアプリケーション用に4つのディスクをインストールすることは非常に無駄であり、合理的ではないと思われます。 ただし、需要がある場合は、そのような構成の購入を検討します。



画像



各サーバーには2つのネットワークインターフェイスがあります。 1つは外部との通信に使用し、2つ目はバックネットに使用します。 管理システムにはバックネットが必要です。ソフトウェアをインストールして構成し、ユーザーを移行し、必要に応じてバックアップを作成します。 さらに、シャーシには、各サーバーの低レベル設定(IPMI 2.0、仮想メディア、およびその他のリモート管理機能)にアクセスするためのKVMとして機能する単一の管理センターがあります。 そしてもちろん、センターを介して、シャーシに取り付けられたすべてのグランドの技術的状態のリモート監視が可能です。



画像



リモート管理の幅広い可能性にもかかわらず、物理的にサーバーのいずれかに接続する必要がある状況が可能です。 これを行うために、それぞれにD-SUBコネクタと2つのUSB 2.0ポートが装備されています。 フロントパネルの面積は非常に小さいため、ダクト用のスペースを増やすことが非常に重要でした。 したがって、すべてのコネクタが1つのユニバーサルに統合されています。



画像



魔法の投稿がすべてです。



画像



トレースは、90年代初期の子供用コンソールのカートリッジとほぼ同じようにシャーシに挿入されます。



画像



これらのコネクタは、電力を供給し、コントロールセンターとデータを交換します。



画像



シャーシの背面には、冗長性N + 1の冷却ユニットが取り付けられています。 実際、冷却には1列のクーラーで十分です。 2番目は冗長性のためです。



画像



ホットスワップ可能な2つのユニットから電力が供給されますが、そのうちの1つは冗長です。 データセンターで許可されているため、電源は2つの異なるビームに接続されています。 したがって、サーバーは、内部障害(ユニットの1つの障害)と外部要因(ビームの1つの電源をオフにする)の両方から保護されます。



画像



熱心な読者は、電源ロックがいかにクールであるかに気付くでしょう。 ドッグロックを下げることなくブロックを引き出すことはできず、ロックを下げるためのハンドル(写真の緑色)はPSUの電源を切るまでロックされます。



画像



私たちにとって、CシリーズサーバーはDELLエンジニアからの素晴らしい贈り物になりました。 サービスの品質を維持しながら、インフラストラクチャのコンパクト化と低コスト化という困難な課題を解決することができました。 一方では、そのようなサーバーは、運用と保守がはるかに安価であり、他方では、同様の特性を持つ従来の単一ユニットのDELL PowerEdge R210よりも高い信頼性と冗長性を提供します。



サーバーは、Parallels Automation Management SystemおよびParallels Virtuozzo Containers(PVC)仮想化と完全に連携しました。 したがって、既存のインフラストラクチャと統合し、インストール用にカスタマイズされた既製のソフトウェアセット(コントロールパネル、さまざまなCMSのシン設定など)を使用することができました。 その結果、サーバーレンタル用にアップグレードする2012年の関税年度の新しいVPSのアカウントは、VPSノードから別のマシンに自動的に移行されます。 サーバー間の透過的な移行は、別の興味深いトピックです。これについては、以下の投稿のいずれかで確実に説明します。



結果は何ですか?



c5000プラットフォームのおかげで、従来の42Uキャビネットのレンタル用サーバーの密度は、キャビネットあたり132サーバー(通常の3倍以上)でした。 さらに、C6100プラットフォーム(現在はC6220になっています)をベースにしたサーバーの助けを借りて、仮想化に使用される運用サーバーの密度を2倍に増やしました。



稼働中の標準DELL PowerEdge Rシリーズ機器を考慮して、1年で物理サーバーと仮想サーバーの数を2倍以上増やし、同時にデータセンターを運用するための固定費の増加を回避しました。



記事がすでに書かれていたとき、トラックの完全な長さの写真が1つもなかったことに驚きました。 見つかったのはそれだけです。



画像



次のバッチが到着したら、必ず写真を撮り直してください。



PS誰かがそれを必要とするならば、あなたは我々からサーバー借りることができます



All Articles