テクノパークのデータセンター：「コンクリート」からTier Facility認証まで

ロシア最大のテクノロジーパークの技術サポートセンターの建設中、私はエンジニアリングインフラストラクチャを担当していました。 ロシアで7番目のオブジェクトは、評判の良い国際機関Uptime InstituteのTier Facilityによって認定されました。 コスト、使用したソリューション、および国際標準への準拠についてデータセンターがどのようにテストされたかについては、この写真投稿でお伝えします。









Zhigulevskaya Valley Technology Parkのテクニカルサポートセンター（CTC）は2階建ての建物です。 総面積843平方メートルの6つのエンジンルームがあります。 mで、それぞれ7 kWの平均電力（ラックの最大負荷-20 kW）で326のラックを保持します。 そして、 LANIT-Integrationのスペシャリストである私たちは、最初にコンクリートフレームの段階で彼を見ました。 当時は通信がありませんでした。 エンジニアリングおよびネットワークインフラストラクチャ全体、およびエンジニアリングシステムの自動化のためのコンピューティングインフラストラクチャの一部を作成する必要がありました。









はじめに、プロジェクト全体について少しお話しした後、「スタッフィング」全体を紹介します。



そのため、Zhigulevskaya Valleyのテクニカルサポートセンターでは、サマラリージョンイノベーションセンターの居住者が必要とするサーバー、ストレージ、その他の機器を設置する必要がありました。 もちろん、このような機器には、エネルギー供給、温度条件、湿度レベルなどの特別な動作条件が必要です。したがって、1か所に機器を設置することは経済的に実現可能でした。



私たちは建物を調査し、顧客が入手できる文書を調査し、プロジェクト文書の開発に進みました（これは国家試験を受けることになっています）。 最大の難点は、プロジェクトと作業ドキュメントの開発に3か月しか与えられなかったことです。 作業文書と並行して、国際機関Uptime Instituteの試験に合格するために、文書の一部を英語で準備する必要がありました。

プロジェクトの一環として、次のことを行う必要がありました。

• データセンターのエネルギー効率を高める。
• 短時間で構築します。
• Uptime Institute試験に合格し、Tier III証明書を取得します。

データセンターのエンジニアリングシステムの密度は非常に高く、締め切りは厳しいため、作業、材料および機器の供給を詳細に計画する必要がありました。



繰り返しますが、「燃焼」時間のために、彼らはハイテクのプレハブモジュール構造を使用することに決めました-彼らは追加の建設作業を避け、耐火パーティションと強力な防水を作りませんでした。 このソリューションは、水、火、ほこり、およびIT機器にとって危険なその他の要因から部屋を保護しますが、モジュール設計の組み立てには1〜2週間しかかかりません。



プロジェクトの調査後、作業文書の作成と機器の注文を開始しました。 ところで、機器については、プロジェクトが危機的な年になり、資金調達が困難になったため、すべての作業を財務計画に合わせて調整し、何よりも高価な大型機器の残りを購入する必要がありました-価格はメーカーによって固定されていました

機器の配送計画の変更には、さらに慎重な計画が必要でした。 ダウンタイムなしで施設で100〜150人の作業を整理するために、プロジェクトチームは変更管理とリスク管理手順に多くの注意を払いました。 コミュニケーションが重要でした。問題と遅延に関する情報は、チームリーダーから会社の本社のプロジェクトマネージャーとエンジニアにチェーン全体ですぐに送信されました。

プロジェクトチームと購買マネージャーはモスクワで働き、メインチームはテクノロジーパークで直接働きました。 設計者は、設計決定の明確化と調整のために、またモスクワオフィスから高速道路沿いのテクノパークまで約1000 kmにわたって、施設に何度も出張する必要がありました。 現場で直接、建設本部を組織しました-顧客と作業マネージャーの参加を得て定期的に会議が開催され、その後、更新されたすべての最新情報がエンジニアリングチームに転送されました。



狭い専門家やエンジニアの場合、私たちがこの地域で採用したほとんどの専門職（最大150人）は、モスクワからの長期出張で派遣する必要がありました。



最終的に、すべてがうまくいきました。 メインテストのストーリー-Uptime Instituteの認定-最後に保存しました。 次に、すべてが私たちと一緒に配置されている方法を見てみましょう。









データセンターにアクセスするには、データセンターの入り口でRFIDパスとパスIDが必要です。 また、建物にはすべてのドアが制御されており、特定の部屋へのアクセスは、従業員の二重の身元確認の後のみ可能です。

構造化ケーブルシステム

データネットワークには、HP FlexFabricおよびJuniper QFabricスイッチを使用しました。 PanView iQ物理インフラストラクチャ管理システムを備えたPanduitインテリジェントSCSを使用すると、ネットワークの物理層の状態をリモートで監視し、自動的に文書化できるほか、スイッチングフィールドのインテリジェントな制御を実行できます。









機器の正しい接続またはSCSポートへの異常な接続を制御することができます。 事前に終端処理されたケーブルにより、必要に応じて、必要なエリアのSCSの構成を変更できます。

電源データセンター

セントラルヒーティングステーションの独自の変電所には、4つの独立したトランスが設置され、セントラルヒーティングステーションの入力分配装置（VRU1-4）に電力を供給します。

データセンターで割り当てられる総電力は4.7 MWです。









8つの独立したビームは、セントラルヒーティングステーションのVRUの変電所から出発し、ディーゼル回転式無停電電源装置（DDIBP）に基づく保証された電源システムを介して、8 VRU TsOD、4 VRU無停電電源システム、および4 VRU無停電電源システムに供給されます。 電源システムは2Nスキームに従って構築されており、ケーブルはデータセンターの2つの異なる側面から2つの間隔のある電気配電盤に送られます。









スキーム2Nは電源の冗長性を実装しています。 データセンターが完全に稼働している間は、メンテナンス用の供給ビームを停止することができます。









中断のない保証された電源のために、ディーゼル動的無停電電源装置Pillerを設置しました。 各1MWの無停電電源と650 kWの保証された電源により、データセンターの運用を完全に保証できます。









電気の供給が中断した場合、ローターは慣性によって回転し、電気設備はさらに数秒間電流を生成し続けます。 この短い時間は、ディーゼル発電機を始動して動作速度に達するのに十分です。 したがって、機器の動作は1秒間でも停止しません。









N + 1の構築スキーム。 このような発電電力により、ディーゼルエンジンの燃料消費量は1時間あたり350リットルを超え、100トンを超えるディーゼル燃料の外部燃料貯蔵容量が追加で必要になります。









データセンターの建物には、2つの間隔のある電気配電盤があります。 それぞれに、2 ASUの無停電電源装置システムと2 ASUの保証電源システムがあります。



ディスパッチシステムは、すべてのサーキットブレーカーの状態を監視します。 技術的な計量装置も設置されており、電力供給の各方向の電力消費を制御できます。 補助システムの円滑な動作を確保するために、静的電子バイパスを備えたキャビネットが設置されています。









配電システムもディスパッチシステムによって制御され、各ラインにはプロセスメーターが装備されています。



配電キャビネットは小さなホールにあり、2つの配電ユニットが設置されている各サーバーキャビネットからの列がそこから出ています。









大きなホールでは、バスバートランキングを使用して電力を分配しました。 コンセントボックスでは、各マシンはディスパッチシステムによっても制御されます。これにより、データセンターの電源システムの動作の全体像を常に把握できます。









配電用のサーバーキャビネットに直接、配電ユニットが設置されています。

ホール冷却

1階のセントラルヒーティングステーションの機器および機械室では、エマーソンのインライン精密エアコン（以前にお客様が購入したもの）を使用し、冷水を準備するために水冷却器とドライクーラーを使用して機器を冷却します。









2階のホール（メインロード）を冷却するために、空冷レキュペレーターを備えたエアコンを使用しました。



AST Modularの革新的な冷却システムには、1階の4つのエンジンルームにある44のNatural Free Cooling屋外冷却モジュールが含まれています。



システムは2つの開回路で構成されています。 その1つでは、エンジンルームから空気が循環し、もう1つでは、道路からの冷気が技術的な換気システムを介して供給されます。 両方の流れは、熱が外部空気と内部空気の間で交換される回復熱交換器を通過します。 したがって、機器は年間90％まで外気で冷却できるため、ウォーターチラーとドライクーラーを使用して従来のアクティブ冷却のコストを20〜30％削減できます。 夏には、空気はチラーからの冷水によって冷却されます。









プロジェクトの開始までに、このような冷却システムの作成経験がありました。ヤロスラブリのハイテクモジュラーデータセンターVimpelComでNatural Fresh Aircoolingを使用しました。 しかし、それぞれの新しいプロジェクトには複雑さが伴います。



MNFCエアコンの動作を空気供給ユニット（通りの空気を準備してから、MNFCの技術的な回廊に供給する）とリンクするには、MNFCエアコンの数学的レベルで、換気ユニットによって供給および排出される空気の量の依存関係を解決する必要がありました。 これは、技術的な廊下に入る空気の量が特定の制限を超えてはならないという事実（エアコンのファンを絞めないため）であると同時に、十分であるという事実によるものです（したがって、廊下の空気が希薄にならないようにします）。

1階冷凍センターと屋上機器

冷凍機、ポンプグループ、熱交換器などが冷凍センター（HC）の敷地内に配置されました。









ウォーターチラーとドライクーラーは、暑い季節には2階の自然冷却ユニットに、また1階のエアコンには常に冷水を供給するために使用されます。 冬には、冷水クーラーの熱交換器と屋根の冷却塔で水が冷却されます。これにより、チラーをオンにせずにエネルギーを節約できます。









プロジェクトによると、セントラルヒーティングステーションの屋根に大量の機器を設置する必要があったため、実際に3階を100トンフレームの形で構築し、その上に約60トンの機器を設置する必要がありました：長さ14 mに達する冷却塔、および人間の高さを超える強力な換気プラント。









もちろん、私たちは冷却塔で汗をかきました：屋根の上でそのような大物を持ち上げてみてください！ 機器の寸法が大きいため、荷降ろしのために特別なビームを調理する必要があり、また、160トンの吊り上げ能力を持つクレーンと大きなブーム、さらにはそのようなクレーンも場所にたるんで使用しなければなりませんでした。

火災安全

火災安全のために、火災警報システム、早期火災検知（吸引システム-空気の組成を分析するセンサー）、自動ガス消火システム、および消火システムの作動後に残留ガスを除去できるガス除去システムが現場に配備されています。



火災警報システムは次のように機能します：機械室、機器室、および補助室の火災センサーは、中央自動火災警報ステーションに適切な信号を送り、次に自動ガス消火システム、自動火災、および警告システムを起動します。火災のゾーン。









主な機器としてESMI（Schneider Electric）が使用されました。 すべての火災安全タスクを閉じ、制御室のオペレーターのワークステーションに表示されます。

自動化およびデータセンターの発送システム

ほとんどのデータセンターでは、最小限の監視機能を備えたローカルオートメーションのみがインストールされており、国内ではすべてのサブシステムが共通の制御システムを備えた単一の技術ソリューションに統合されています。 制御システムは、10を超えるシステムのステータスを監視し、2万を超えるパラメーターを表示します。 機械室の温度と湿度を知りたいですか、それとも各ITラックの消費電力に興味がありますか？ 問題ありません。









監視および派遣システムの一部として、SCADAシステムとデータセンターの監視および管理システムの両方を使用しました。 SCADAシステム（監視制御とデータ収集-ディスパッチ制御とデータ収集）を使用すると、データを表示し、設置された機器（チラー、エアコン、ディーゼル回転UPS、換気、ポンプなど）の自動化を制御できます。



データセンターのリソースアカウンティングシステムにより、ラックに設置されたすべての機器の完全な記録を保持できます。 アラームメッセージをリアルタイムで表示し、詳細なレイアウトで視覚化した機器ステータスデータを表示します。 詳細のおかげで、データセンターにあるすべてのデバイスを見ることができます。









このシステムを使用すると、緊急事態をシミュレートし、問題を解決するための推奨事項を提供したり、データセンターの技術リソースの運用を計画および最適化することもできます。



また、換気システムを監視および制御します（IT機器を冷却する技術プロセスに参加する際に、供給される空気の温度の監視を含む）。 エアコン、換気ユニット、冷却システムのすべてのパラメーターが考慮されます。



システムは、機器の状態を監視し、それを制御します（およびさまざまなバルブ）。 さらに、機器を危険な状態からさらに保護します。









システムは、制御キャビネット内のすべての主要な保護デバイスのステータスと、これらのラインの電力消費を監視します。









このシステムにより、ITラックに設置された機器を追跡したり、所属に関する情報を保存したりできます。 消火システムおよび建物のセキュリティシステムからのデータがここに流れます。









ビル管理は、シュナイダーエレクトリック機器上に構築されたソリューションを使用して実行されます。 自動化された派遣システム、エンジニアリングシステムの監視と管理は、職場の派遣者に必要なすべての情報を提供します。



システムは、データネットワークの技術セグメントを介して相互接続されます。 ソフトウェアは仮想マシンにインストールされ、データのバックアップが提供されます。



セキュリティ、ビデオ監視、およびアクセス制御を確保するために、中央のシュナイダーエレクトリックソリューションもデータセンターに設置されました。 データセンターのディスパッチングシステムに必要な情報を提供します。









私が話したすべての機器は、フォールトトレラントな構成で組み立てられ、モジュール式のスマートシェルタールームにあります。これにより、セントラルヒーティングシステムを火、湿気、振動、その他の外部の影響から確実に保護できます。 この決定により、プロジェクトの期間を短縮することができました。 1つの部屋を組み立てるのに平均で2週間かかりました。

火、水、... Uptime Institute試験に合格する

データセンターがTier III DesignおよびTier III Facility規格に準拠しているかどうかの試験に合格するには、Uptime Instituteの要件に従ってすべてのドキュメントを完成させ、その認定に合格し、このドキュメントに従ってすべてのシステムをインストールして実行する必要がありました。 最終的に、Tier IIIファシリティのコンプライアンスに関するデータセンターシステムのテストに合格しました。 そして、これは約50のテストです！









テストの準備が困難であることが判明しました：文書の認証が理解できる場合、施設の認証がどのように認証されているかについての情報を見つけることは非常に困難でした（当時、Zhigulevskaya Valleyデータセンターはロシアで7番目の認証データセンターであることが判明しました）。



内部監査に多大な労力が費やされました（以前、負荷テストは顧客に対して実施されていました）。 2週間にわたって、Uptime Instituteから受け取った設計文書とテストに従って、すべてを次々にチェックしましたが、もちろん、認証中は緊張していました。



Uptime Instituteのスペシャリストが検査を受けてデータセンターに到着し、ホールの検査を開始したとき、私は将来のために重要な結論を出しました。チームには、「検査官」とのコミュニケーションを引き継ぐリーダーが1人いるはずです。 誰がそのような人になるかについては、チーム編成の段階で考える必要があります。 私たちはまさにそれを試みましたが、テストの過程で従業員の一部が主導権を握ろうとしました。 Uptime Instituteの代表は、サードパーティの議論に注目して、すぐに追加の質問をしました。



初日は事実調査でした。検査官はデータセンターが設計文書に準拠しているかどうかを調べました。





















翌日、Uptime Instituteの主要なテストのために、データセンターの全負荷（熱消費量とエネルギー消費量の両方）を提供する必要がありました。 負荷は、30〜100 kWの電力を備えた特別に設置されたヒートガンによって模倣されました。









一部のテストでは、機器がクリティカルモードになり、システムが立ち上がらないという懸念がありました。 起こり得る結果から機器を保護するために（彼らは言うように、神は注意を払って救います）、機器メーカーのエンジニアを招待しました。



制御室からのすべては、Uptime Instituteの検査官の1人であるFred Dickermanによってリアルタイムで監視されました。 自動化されたディスパッチ制御システムと多くのセンサーにより、機械室の機器の現在の状態と温度変化を監視することができました。



認定結果は、最初に適切な技術ソリューションを策定し、すべてが正しくインストールおよび起動されたことを示しました。 専門家によると、このデータセンターは、ロシアでUptime Instituteの監査にコメントなしで合格した唯一のデータセンターでした。











そして最後に-Zhiguli Valleyでのプロジェクトに関するビデオ