この春、国内最大級の銀行の1つであるVTB24に大規模なデータセンターを構築しました。 1年間で、技術仕様の作成からプロジェクトドキュメントの作成、データセンターの試運転までの全範囲の作業を行いました。 面積400m²のデータセンター（油圧モジュールを除く）は、92台のサーバー/ネットワークキャビネット用に設計されています。 総電力は1600 kW、最大正味電力は800 kWです。
図1一般的なデータセンターの計画
図2データセンターのマシンルーム
建設作業を実施した後、次のエンジニアリングシステムを実装しました。
- 上げ床システム;
- クロスコネクトを含む構造化ケーブルシステム。
- 無停電電源装置システム。
- 配電システム;
- 電気照明システム;
- 空調および湿度制御システム;
- 換気システム;
- 保証された電源システム（DGU）;
- 自動ガス消火システム;
- パラメータ（電源、UPS、ディーゼル発電機セット、空調、室温）の監視およびアラームシステム。
- ビデオ監視システム;
- アクセス制御および管理システム。
- 自動ディスパッチ制御システム。
建設工事
作業を開始する前は、データセンターの下に割り当てられた領域は、オフィス家具を備えた通常のオフィスルームでした。 まず、床と壁のすべてのパーティションとコーティングを解体し、コンクリートスラブのコンクリートスクリードを取り外し、床を水平にし、明るい色で塗る必要がありました。
並行して、敷地内の既存の構造物の解体が進行中でした。
- データセンターとASUの配置が計画されている施設では、サーバールームシステムに関連しないエンジニアリングシステムのすべてのユーティリティとその他の機器がdr死して解体され、偽天井と換気システムボックスが解体されました。
- 既存の配電網および低電流電力網の解体された要素。
- 加熱システムのラジエーターとライザー、ファンコイルを取り外しました。
施設の再開発は、次のボリュームで実装されました。
- 天井の建設を完了しました（上からの洪水から保護します）。
- 割り当てられた部屋には仮天井が取り付けられ、そのデザインには金属化プレートが含まれていました。
- 建物の既存の窓の開口部はレンガ造りでした。
- データセンターとASUの敷地内に上げ床（高さ-1000 mm）を設置しました。 機器を上げ床レベルに運ぶために、リフトテーブルが用意されていました。
図3天井フレーム
データセンター電源システム
データセンターの電源システムは、完全にミラー化された2Nスキーム（変圧器から始まり、キャビネット内のPDUで終わる）に従って作成されます。 特にデータセンター向けに、新しい変電所が建設されました。 IT負荷用のUPSコンプレックスは、各アームに500 kVAの2つの並列モノブロックで構成されています。 ポンプおよび空調システムの他の消費者用に、別のUPS複合施設が提供されています。 UPSコンプレックス全体のバッテリー寿命は20分です。 UPSの配電盤室では、特別な荷降し用フレームが設計され、取り付けられました。 機械室のすべての電源配線は、上げ床スペースのトレイで行われます。
路上に設置されたディーゼル発電機セットは、あらゆるエンジニアリングインフラストラクチャを備えた防音海上コンテナに設置されました。 排気の環境への影響を減らすために、銀フィルター付きの触媒が使用されます。
図4ディーゼル発電機セットを備えたコンテナ
空調システム
このプロジェクトの主な特徴は、空調システムの特性です。 最大1 MWの熱を除去できる強力でエネルギー効率の高いチラーを使用しました。 データセンターのホールには、周囲に設置されたキャビネットエアコンと、いわゆるハーメチックゾーンを形成するインラインエアコンがあり、ラックごとに最大30 kWの容量のコンピューティング機器を設置できます。
単一回路の冷凍システム。 部屋自体のスペースを節約するために、油圧モジュールの機器用に建物の延長が取り付けられました。 油圧ユニットには、ポンプグループ、コーム、貯蔵タンク、膨張タンクなどが含まれます。
すべてのパイプ配線は、上げ床スペースではなく、地下で行われます。これにより、潜在的に漏れの影響が軽減され、メンテナンスが容易になります。 システムの冗長性と保守性のスキームは、Uptime InstituiteのTIER IIIに完全に準拠しています。
冷却回路の冷却液は、パラメーター10/15°Cのプロピレングリコール溶液（42％）です。 メインパイプラインでのクーラントの循環は、メインパイプラインとバックアップパイプラインに沿って同時に提供されます。
冷凍システムには、自動漏れ防止システムが装備されています。 冷凍回路内の圧力が低下すると、自動シャットオフバルブが遮断され、2つの独立したセクションに分割されます。
外部回路のポンプグループは、2つのポンプで構成されています（冗長構成「1 + 1」）。
停電時にシステムの操作性を維持するために、それぞれ5000リットルの4つのバッテリータンクが用意されています。 バッテリー寿命-20分。
システムの信頼性を高めるために、設置場所への電源ケーブルの二重挿入が使用されました。
図5チラー
図6キャビネットエアコン
図7インラインエアコン
図8 CFDデータセンターモデル
図9バッテリータンク
図10櫛
構造化ケーブルシステム
このプロジェクトのSCSは、あまり一般的ではありません。 顧客は、中間ノードを使用せずに中央のクロスでトポロジを編成することにしました。 さらに、新しいSCSは、さらに3つの既存のサイトを対象としています。 中央クロスクロスコネクトの実装スキーム。 このスキームは、ある程度の冗長性がありますが、完全に普遍的です。 中央のLANおよびSANスイッチのすべてのポートは、クロスのステーション部分に一度に拡張されます。 スイッチ付きのキャビネットはロックされており、資格のある担当者のみがアクセスできます。 すべてのサーバーキャビネットからのリンクは、十字架の直線側にあります。 クロス設計の容量は約18,000ポートです！ 私たちのエンジニアは、このソリューションの最適化を任されていました。 クロスを編成する興味深い方法は、MTPパネル（カセット）の使用です。 フィールド間のクロスは、12ファイバーMTPコードでも実行されます。 したがって、クロス用のキャビネットの数をほぼ5倍に減らすことができます（18キャビネットから4キャビネット）。 これは、ロシア連邦におけるこのようなソリューションの最初のインストールです。
このアプローチのもう1つの大きな利点は、スイッチとサーバー間の回線全体を12ファイバーMTPケーブルで作成できるため、40Gテクノロジーへの移行が簡単なことです。 サーバーおよびスイッチから10 / 16G機器を使用する場合、MTP-LC hydraが使用されます。
このプロジェクトのSCS全体は、OM4 / OS2光学系のみに基づいて構築されています。 配線は、上げ床スペースのメッシュトレイで完全に行われます。
図11 SCSのブロック図
追加の質問に答える準備ができました。