TIER-IIIクラスのフェイルセーフデータセンターインフラストラクチャ

Compressorデータセンターの1階の中央部には、2つのホールがあり、それらの上には厳密に2階に2つのホールがあります。 各ホールには、ラックごとに1 MWの電力があります。 1階には、変電所、配電センター、配電盤があります。 図の左から上に、家庭用複合施設、セキュリティルームがあります。 ホールの右側-冷却システムの部屋-ポンプ場。 ホールの近く（側面）にファンコイルのある廊下があり、中央には配電盤のある廊下があります。



2階は基本的に1階のレイアウトを繰り返します。







変電所の代わりに-UPSとバッテリー。 2階の冷蔵部分はグリコールポンプステーション（2番目の冷却回路）です。 さらに、データセンターの15分間の自律冷却のための100立方メートルの貯蔵タンクがマッシュルームの右側に設置されています（ディーゼル発電所の起動中に外部電源がオフになると、冷却回路に供給されるタンクからのすでに冷却された水がマッシュルームの冷却に使用されます）。





データセンターのレイアウト



ここに、このデータセンターの建設に関する最初のトピックがあります。

入門

先に進む前に、まず、状況について簡単に説明します。 現在、CROCには次のような3つのデータセンターがあります。







最初の2つは、それぞれ私たちのオフィスと隣の駐車場の下にあります。 3つ目（ちょうど「コンプレッサー」）は遠く離れた場所にありますが、首都と都市のどこからでもインフラストラクチャと通信チャネルが発達しているため、モスクワにもあります。 システム管理者またはエンジニアが、市内のどこからでも、または中心部から地下鉄や車で40〜50分で簡単にアクセスできる場所にあります。



一般に、今日、私たちはすでにロシアのさまざまな企業の60を超えるデータセンターの立ち上げに参加しています-どこかで多くのことを行い、どこかで相談し、どこかで別の作業領域のみを実行しました。 素晴らしい経験が蓄積されました。 しかし、それはすべて簡単に始まりました。最初のデータセンターはパイロットであり、すべての古典的なソリューションを備えていました。 それに基づいて、私たちはこの分野がどれほど有望であり、どのくらいの量のアウトソーシングデータセンターが需要があるのか​​を自覚しました。 その後、Compressorデータセンターの設計と構築を開始しました。 途中で、駐車場の下にそれほど大きくない別のデータセンターを建設することが可能になりました。 ロシアで初めて、DDIBPを使用しました（これは非常に興味深いUPSであり、巨大なローターが運動エネルギーを蓄積します）。さらにいくつかの新しいものがそれとCompressorの両方で実行されました。





90個のラックと1 MWを備えた最初のデータセンター。





110ラックと2 MWの2番目のデータセンター。





800ラックおよび8 MWのコンプレッサーデータセンター。

電源

申し訳ありませんが、図で何かを読んだ場合、警備員が私を撃つと警告されたので、それだけです。



電源

• データセンターの8 MVA最大消費電力、
• 4 MW（4x200x5 kW）IT電力消費、
• 2本の独立したケーブルラインを介して発電機（TPP-11）から直接得られるエネルギー、
• データセンター（すべての消費者を含む）の総消費量からITラック1.35-1.45（冬）までの測定結果によると、PUEは1.25日でした。 1.45-1.85（夏）。 計画された年間平均は1.45で、計画よりも少し良くなっています。
• コンテナ設計におけるFGWilson DGUのロシア最大のアセンブリ、
• 各2000 MVAの7 DGU、
• 2本のタイヤでディーゼル発電機セットの並列運転、
• 通信の予約2N、
• 予約DGU N + 1
• 24時間の燃料リザーブ。

途切れない電源

• ロシア最大のGEデジタルエネルギーUPSのアセンブリ、
• 38個 GE DE SGシリーズ各300 kVA
• 自主性15分
• 冗長UPSアセンブリ2NおよびN + 1。

装備品

• 配線および配電設備シュナイダーエレクトリック、
• Sepamマイクロプロセッサリレー保護、
• PおよびGシリーズのPrisma Plus配電盤、
• バスバーCanalis KTA、
• ケーブル製品：国内工場からの、1.5から400平方ミリメートル（一部は手で曲げることができず、特別なデバイスでしか曲げられない）の断面を持つ100 km以上のケーブル。

外気温が+37で、機械室の全負荷で8 MWが実現されます。 入り口はCHPPから2行であり、サプライセルを変更して、インフラストラクチャを自分でデータセンターに配置する必要がありました。 次に、8個の変圧器、それぞれ2個ずつの4つのグループ。 スイッチングデバイスの数を最小限にしようとしました。 ロシアでは、2.5キロアンペアのサーキットブレーカーが変圧器よりも高価です。 したがって、コストの最小化に基づいてスキームを最適化しました。 2000キロボルトアンペアの2つの独立した変圧器が、現在、各機械室で機能しています。 奇数の変圧器はチラーと冷却塔に給電し、変圧器もファンコイルに給電します。 トランスフォーマーをオフにする機能があり、同時にデータセンターの効率が損なわれることはありません。 図の右側には、2000キロボルトアンペアのスタンバイ電力の7つのスタンバイディーゼル発電機セットがあります。 燃料供給は25立方メートルの2つのコンテナに保管されます。



UPS-クラシックスタティック。 各300キロボルトアンペアの38個。 マッシュルームの場合、2Nの冗長性、エンジニアリング負荷の場合-N + 1。 15分間の途切れない電力が提供されます。



電源トランスは国産であり、非常に高品質です。 合計-8個。 それらはポドルスクの変圧器工場で作られ、完璧に機能し、苦情はありません。 ケーブル製品も国産ですが、大規模なバッチで工場が結婚を追いやることができるのは秘密ではないため、出荷中に各ケーブルを慎重にチェックしました。 メーターごとに戦った。

冷却

冷却システムは、環境への配慮、価格、効率のバランスです。 はい、はい、私たちは環境に優しいソリューションを愛し、それでもお金だけではなく、それについて考えました。







システムは二重回路で、最初の回路は水です-200トン。 こぼれた場合は問題ありません。 水は熱物性も優れています。 私たちが持っている貯蔵タンクは鉄筋コンクリートで作られており、圧力は自然の水柱によって作られています（オープンシステム）。



熱交換器での水の凝縮による電力損失を最小限に抑えるために、高温パラメータを設定します。 この例では、フィードで13度、リターンラインで18度です。 将来、次のデータセンター（ロシアで絶えず構築中）で、さらに温度を上げたいと考えています。







外部回路にはエチレングリコールが充填されています。 チラーとドライクーラーは直列に接続されています。つまり、フリークーリングモードでの動作温度範囲が拡張され、フリークーリングモードでクーラーから熱を部分的に除去することができます。 フルパワーテイクオフを備えた100％フリークーリングは、+ 5以下ですでに利用可能です。



コンピューター支援設計システムを使用して、最終的なスキームを最適化することができました。 テストの過程で、温度、圧力などの設計のすべての値が完全に明確に、問題なく受け取られました。 パイプラインの分岐が多いため、手動では困難です。



主なパラメーター：

• 4000 kWの電力用の64個のSTULZファンコイル。 48 + 16スタンバイ。 お金を節約するために、私たちはより温かい水で作業できるすべてのものを使用しています。
• 摂氏13/18度、
• 4台目のマシンごとに加湿器
• 電力97 kW（Qavn = Qfull）、
• 空気消費量28800 m3 / h

サプライヤー：

• チラーと冷却塔：Nordvent、
• 換気装置：LENNOX、
• ポンプ装置：GRUNDFOS、
• 熱交換装置：アルファ・ラバル、
• ストップバルブ：ブローン、グロス。

上げ床の下には、ガス消火システムのパイプだけがあり、そこには何も配置されていません。 すべてのエアチラー+回路に直列に含まれる「ドライ」冷却塔（最初に冷却塔が下流にあり、次に冷却器があります）。 これにより、完全および部分フリークーリングモードでシステムの範囲を拡大できます。



前のトピックでは、フリーアクセスフロアを使用したこのようなソリューションに関する質問がありましたが、その理由をもう少し詳しく説明します。 上げ床での作業は、データセンターのほとんどすべての最新アプリケーションにとって、非常に効果的で便利で構造的に簡単です。 エンジニアリングシステムを設計するときに解決したタスクの1つは、機械室の内部に「余分な」（テナントに関係しない）エンジニアリング機器が存在しないようにすることでした。 たとえば、銀行が私たちの場所にラックを配置する場合、ほとんどの場合、特別な障壁を直接ホールに配置するため、これが必要です。 顧客エリア内の機器のメンテナンスは、安全ガードに電話する必要があることを意味します。 お客様の安全問題は何よりも重要です。



2番目のタスクは、エンジンルームとその上に水がないことです（天井に「列間」と「冷蔵庫」はありません）。 上げ床を介して作業することで、私たちは両方のこれらの問題を解決しました。ファンコイルユニットがホールから特別な廊下に移動したためです。



もう1つの質問は、「ホット」ラックに関するものでした。 それらは一般的に冷却されます。 それらの隣に、キャップ付きの「空の」ラックを置きます。 条件があります-上げ床の1つの穴あきタイルを通して、私たちの条件では、約5 kWの熱を除去するのに十分な空気を吹き込むことができます（1つの「平均」サーバーキャビネット）。 サーバーが30 kWを割り当てる場合、6タイルを与える必要があります。

防塵

空気準備



このデータセンターの構築に関する投稿で、彼らは防塵について尋ねました。 一般に、事は非常に簡単ですが、より詳細に説明します。 いくつかの操作が必要です。

• まず、建設後に機器を設置した後、すべてを除去する必要があります。 これを行うために、特別な清掃会社を誘致しました。まるでエイリアンの検疫を確立する必要があるかのようにすべてを清掃しまし​​た。
• 第二に、内部にほこりがなくなったら、それをデータセンターに持ち込まないことが重要です。 ホール内の空気ろ過は、EU4ファンコイルフィルターによって保証されます。 つまり、外部のほこりは訪問者にしか届きません。
• 第三に、マッシュルーム内の空気は非常に多様な実質的に閉鎖されたボリュームで循環するため、ゲストと一緒にデータセンターに到着した埃は同じフィルターでろ過されます。
• そして第4に、エンジンルームでは、特別な換気装置（もちろんフィルターもあります）で空気が供給されます。つまり、部屋の中には、外部からの塵埃の吸い込みを防ぐわずかな過剰圧力があります。

認証

要するに、認証には2つのアプローチがあります-「私たちが言ったとおりにビルドし、すべてがOK」-TIAによると、「要件に従ってビルドし、UIによってオブジェクトをチェックします」。 2番目の方法論に従って認証しました。つまり、ロシアでは非常にまれなデータセンターで実際のテストを実行しました。 TIER-III認定データセンターのリストは、 uptimeinstitute.com / TierCertification / certMaps.phpで確認できます。

認定アプローチの違いはhabrahabr.ru/company/croc/blog/157099です。





TIER I-TIER IVレベルの違い



UptimeのTIER-IIIには、定期的なメンテナンスとクラッシュがデータセンターを破壊せず、出力パラメーターを削減しない場合の並行メンテナンスが含まれます。



これは次のように行われました。最初に、Uptimeは英語のプロジェクトドキュメントを受け取ります。 彼らは推奨事項を提示し、すべてが順調であれば、プロジェクトの証明書を発行します。 ATDスペシャリスト（UI認定スペシャリスト）は、この段階で多くのことを支援できます。さらに、プロジェクトが研究所の要件を満たしていることを保証します。 これは論文の認証、つまりプロジェクトです。



施設の認証を取得するために、構築されたデータセンターを認証することははるかに困難です。 プロジェクトと建設が承認された後、UIの担当者がその場所に来ます。 彼らは4日間滞在し、失敗の山を模した複雑なテストを実施し、定期的なメンテナンスを模しました。 成功の鍵は、データセンターがプロジェクトに完全に準拠することと、サービスチームの経験です。 以前に「トレーニングアラーム」を実行したことがない場合、テストに合格しない可能性が高くなります。 トレーニングプログラムと要員の準備のために、支援が必要な場合は、ATDを再度関与させることができます。



一般に、責任が増大するデータセンターを設計および構築する場合、各分野で最高の専門家を確保することが非常に重要です。 原則として、今では彼らはソビエト学校のエンジニアであり、非常に深く知識のある科目であり、素晴らしい練習をしています。 新世代も成長しており、CISにおけるITの利点は急速に発展しています。 プロジェクトチームであっても、プロジェクトの目標がビジネスの目標に対応することを保証するビジネス関係者が必要です。 必要に応じて、最適なリソースを引き付けるのに役立ちます。



実績のある下請業者が必要です。 作業自体に加えて、複雑なテストが数回行われることを理解する必要があります。請負業者が助けてくれればそれが重要です。



プロジェクト自体にサービス部門を関与させることは非常に重要です。そうすることで、ローンチのためにもう一度学習を開始する必要がなくなります。 運用チームがどのような仕組みでどのように機能するかを理解していると便利です。



以上です。 他の写真はフォトツアーにあります。 施設のTTXはwww.croc.ru/dcで入手できます。