データセンターNORD-4のツアー

今日は、ロシア最大の商業データセンターであるNORD-4を散策します。 途中で、TIER IIIデータセンターですべてがどのように機能するかを説明します。

ちょっとした歴史

データセンターの建設は、2013年夏にモスクワのKorovinsky高速道路のNORDサイトで開始されました。 NORD-4は、DataLineだけでなく、商業データセンターのロシア市場全体にとっても最大のプロジェクトになりました。 NORD-4は、総面積11,700平方メートルの独立した4階建ての建物を占有しています。 8つのエンジンルームには2016年のスタンドがあります。 データセンターの総容量は18 MWです。



データセンターは、その規模だけでなく、組み込みのエクスペリエンスでも注目に値します。 私たちは2007年以来、すべてのデータセンターの設計、構築、運用を行っており、NORD-4は7番目でした。



NORD-4は段階的に運用される予定であったため、新しいラインの設置と試運転がすでに稼働しているホールの作業を妨げないように、データセンターが設計されました。



2015年3月にNORD-4の最初のフェーズが試運転されました-2015年12月に252席の2ホール-同じ数。



2015年6月、NORD-4プロジェクトはTIER III設計基準に従ってUptime Instituteの認証に合格し、2016年2月に完成品 （ TIER III施設 ）を認証しました。



1008箇所のデータセンターの次の2つのフェーズは2017年に開始されます。





NORD-4はモスクワの北、コロビンスキーハイウェイ41にあります。

物理的セキュリティ

データセンターの入り口で、24時間のセキュリティポストがあります。 他のすべてのデータセンターと同様に、NORD-4は機密性の高い施設であるため、IDカードとデータセンターの従業員からのパスの申請書のみで内部に入ることができます。







データセンターのすべての施設と領域は、内部および外部監視のカメラを通して表示されます。 NORD-4で起こっていることの写真は、セキュリティモニターで24時間放送されています。 すべてのビデオは、過去数日のイベントを再生する必要がある場合に備えて、3か月間記録および保存されます。











そのため、首にパスを付けて、靴を足で覆い、NORD-4を探索するために出発した実務のエンジニアが同行しました。 データセンター自体には、ゲートウェイという特別なコンパートメントを介してのみアクセスできます。 これは、人がパスなしでデータセンターに侵入しないように、二重の障壁の一種です。 ゲートウェイは次のように機能します。訪問者はパスをACSリーダー（アクセス制御および管理システム）に適用し、ゲートウェイに入り、背後のドアを閉じます。 その後、彼はデータセンターにつながる2番目のドアを使用して、すべて同じアクションを繰り返します。 パスのない人が何らかの形でゲートウェイに現れた場合、ガードはそれをブロックし、2番目のドアは開きません。

機械室

各機械室は、屋根と壁のある別々のコンテナにあります。 これらの内部の建物は、気密ゾーンと呼ばれます。 それらは、機械室の漏れ、ほこりから保護し、望ましい程度の耐火性を提供します。



データセンターの引き渡し時に、運用サービスは収容ゾーンの屋根に水をたっぷりこぼし、漏れをチェックします。 このテストと実際の洪水のために、排水ゾーンは封じ込めゾーンに提供されています。







各機械室は500平方メートルの面積をカバーしています。 252個のラックを保持します。 4つのランニングホールでは、389のラックがすでに稼働しています。







サーバーおよび通信機器を備えたすべてのラックは、高さ800 mmの上げ床に設置されます。 上げ床の主な機能は、ラックへの冷気の供給です。 上げ床の下にはバスバーがあり、それを通してラックに電力が供給され、漏れセンサーと煙センサー、消火器スプレーがあります。







煙探知器と消火剤スプレーの2番目のセットは、ホールの天井の下にあります。 赤いパイプは早期火災検知システム（VESDA）です。 彼女は絶えず空気を「嗅ぎ」、わずかな煙を捕らえます。







火災の場合の避難の警告のためのスピーカーもあります。







火災が発生すると、ノベックの消火剤が天井の黄色いパイプからエンジンルームに送り込まれます。







CCTVカメラは、SCSトレイのラックの各列の最初と最後に設置されます。 別々の2台のカメラが、ホールに出入りする人を記録します。







お客様が追加の物理的保護の境界線を必要とする場合、ラックを特別なセル-ケージに配置します。 ケージには、独自のACSがインストールされます。 識別システムは異なる場合があります：磁気カードリーダー、指紋、網膜。 内部には、追加の監視カメラ、音量センサー、モーションセンサーを取り付けることができます。

電源

データセンターには4つの独立したエネルギーセンターがあります。 各電力センターには、都市電力網からの2つの入力、2つの降圧変圧器、4つのディーゼル発電機（DGU）、および11の無停電電源装置（UPS）があります。 各エネルギーセンターには、2つの機械室と、そこに設置されたエンジニアリング機器があります。







データセンターでの配電は次のようになります。都市ネットワークからの2ビーム電力は、降圧変圧器に供給され、次にメインの配電盤に供給されます。



すべての重要なエンジニアリング機器には2つのパワービームがあります。 すべてのコンピューティング機器は、無停電電源装置（UPS）を介して2つの独立したビームに接続されています。



市の電力が失われると、UPSは自動的に負荷をバッテリーに転送します。 同時に、オートメーションシステムはディーゼルエンジンを始動するコマンドを提供します。 動作電力に達するには約1分かかります。その後、データセンターは、バッテリーからではなく、ディーゼル発電機から電力を供給され始めます。 全負荷時のバッテリー寿命-15分。



NORD-4には44個のMGE Galaxy 7000 UPSがあり、UPSは2N回線で予約されています。







これがバッテリーの外観です。これにより、DGUの起動中にUPSがデータセンター全体に電力を供給します。







NORD-4では、容量が1750 kWのFGウィルソンを使用します。 冗長性N + 1：1つのエネルギーセンターの運用には、3つのディーゼル発電機セットで十分であり、1つのバックアップです。







NORD-4の領土では、100立方メートルの地下燃料貯蔵施設が組織されました。 m。それから、DGUの供給タンクに燃料が自動的に追加されます。 データセンターは、都市からの電力のない独自の埋蔵量で1日以上稼働できます。





燃料がディーゼル発電機セットに入る燃料貯蔵ラインは、2Nスキームに従って確保されています。



2週間ごとに電源システムをテストします。1時間、1つの電源ビームをオフにし、ディーゼル発電機セット、自動化、UPS、監視システム、および勤務エンジニアのトレーニングをチェックします。

コールドサプライ

NORD-4では、エチレングリコールと水を使用したチラーサーキットに落ち着きました。 エアコンの室内ユニットはエンジンルームとエネルギーセンターにあり、チラーは屋根、自動化と制御システム、熱交換器、水回路ポンプ、貯蔵タンクは技術フロアにあります。



エチレングリコールは、チラー付きの屋根にある回路内を循環します。 氷点下の温度では凍結しません。 データセンター内では、冷却システムのパイプを水が流れます。





冷却システムの配管がある技術床 。



エチレングリコールが外気よりも暖かい場合、冷却システムはコンプレッサーをオンにせずに不要な熱を除去します。 「ストリート」によるこの自由冷却モードは、自由冷却と呼ばれます。 NORD-4は、路上で+ 13°以下になると完全にフリークーリングに切り替わり、+ 14〜+ 20°の温度で部分フリークーリングモードに切り替わります。



自由に冷却することで、冷凍システムへの電力供給がはるかに安くなります。空調コンプレッサーをオフにすると、ファンとポンプのみが電力を消費します。 電力を最大85％節約します。



プロジェクトによると、Stulz Cyber​​Cool-2ブランドの14台のチラーがNORD-4の屋根に設置されます。 データセンターの半分だけが稼働しているため、現在7が機能しています。 冗長性レベルN + 2。







各NORD-4エンジンルームは、14台のStulzブランドのエアコンで冷却されています。 エアコンの内部を見たい場合は、ここをクリックしてください 。







エアコンから、冷却された空気は上げ床の下に入り、上げ床の穴あきタイルを通って冷たい廊下に入ります。 そこから、冷気が機器に取り込まれます。 温風は、機器から熱い廊下に吹き出され、エアコンに戻されます。 このスキームは「コールドおよびホットコリドー」と呼ばれます。

寒い廊下では、温度は25°C（±2）に維持され、暑い-10-15度高くなります。 湿度-30-70％。







これがエンジンルーム内の冷気と温風がどのように移動するかを「冷たくて熱い廊下」の原則に基づいて整理したものです。



ウィスキーホールの冷たい廊下の1つ。







すべての冷凍コンポーネントは、N + 1またはN + 2スキームに従って予約されています。システム全体の動作を中断することなく、修理またはメンテナンスのためにチラー、エアコン、ポンプ、熱交換器、パイプをオフにすることができます。

火災安全

NORD-4の1階には、Novecのシリンダーを備えた消火ステーションがあります。 この物質は、噴霧されると、機器を残し、紙を乾燥させます。 このため、ノベックは「ドライウォーター」とも呼ばれます。 一部の職人は、この物質をサーバーの液体冷却に適合させました。







システムは自動ですが、半手動モードで動作します。自動化は、火災の影響を受けた部屋から人が避難した場合にのみ機能します。 煙が発生すると、センサーがトリガーされ、ガードポストに火災の場所を示す信号が送信されます。 Novecが誤検知を防ぐために、警備員が問題の部屋をチェックします。 同時に、データセンターのすべての施設で、サイレンが鳴り始め、全員がデータセンターから避難するように促します。 避難時には、すべてのドアのACSがオフになっているため、人々はすぐに建物を離れることができます。



火事がまだある場合、警備員は中に人が残っているかどうかを確認し、部屋のドアを閉めて自動化をオンにします。 45秒後、Novecは部屋に入り始めます。 2〜3分後、防毒マスクを着用した2人の警備員（1人がホールに入り、もう1人が入り口で保険をかけます）が消火されたかどうかを確認します。



これらのパイプを介して、Novecはエンジンルームとエンジニアリングルームに突入します。 消火システムは2Nスキームに従って予約されています。

監視センター

データセンターのエンジニアリングインフラストラクチャの状態に関するすべての情報は、単一の監視システムに収集されます。 各データセンターには、ビデオウォールを備えた運用管理センターがあり、このデータセンターの詳細情報が視覚的な図、表、グラフの形式で表示されます。 システムは、NagiosおよびCactiソフトウェアに基づいて独自に作成されました。 将来の投稿でそれについてもっと詳しく話してください。



データセンターの運用管理センターでは、エンジニアの勤務シフトが24時間体制で行われています。 いつでも、少なくとも1人のエンジニアがビデオウォールの背後にいます。 アテンダントは、メインデータセンターのバイタルサインを監視し、クライアントおよびインフラストラクチャインシデントを処理します。

NORD-4では、1785個のオブジェクトとエンジニアリングインフラストラクチャの15,200個のパラメーターを監視します。 主なものは次のとおりです。



機器の状態 （オン/オフ、エラー、負荷、動作パラメーター）：エアコン、チラー、コントロールパネル、ポンプ、ディーゼル発電機セット、UPS、バッテリー、漏れセンサーなど



気候条件 ：エンジンルームとインフラ施設の温度と湿度、漏れセンサー、グリコールの温度。

NORDサイトには独自の気象観測所もあります。 気象条件について収集された統計は、冷凍システムの負荷を予測するのに役立ちます。



電源 （電圧、電流、周波数、電源オン電流アナライザー）：入力、メインおよび中間スイッチボード、ラック内のATSおよびPDU。



物理的セキュリティ ：ACS、外部および内部監視カメラ。



監視センターのビデオウォールには、データセンターの操作性を決定する主要なパラメーターが表示されます。 他のすべてのデータは単一の監視システムに残り、誤動作の場合にのみ特別なビデオウォールモニターに到達します。





この回路図で1つのパワービームをオフにすると、UPSに電力が供給されたかどうか、バッテリーレベル、ディーゼル発電機が起動したかどうか、または部屋の温度が上がったかどうかがわかります。



現在、データセンターの一部のみが機能しているため、これまでのMCCのビデオウォールは、他のデータセンターよりも控えめに見えます。







比較のため、これはNORD 2データセンターのMCCです。





自動化された監視に加えて、勤務エンジニアは、1日2回、電子チェックリストを使用して、すべての機械室とインフラ施設を回ります。 クライアント機器が正しく接続されていない場合、電球が廊下で燃え尽きるか、十字架がどこかに誤って配線されます。迂回中、これらはすべて記録され、チケットシステムのインシデントとして巻き上げられます。 次のシフトおよびプロダクションディレクターのために、検証結果は自動生成されたレポートの形式で提供されます。



エンジニアリングシステムのパラメーターの一部は、Webサイトのデータセンター- オンラインセクションと、 AndroidおよびiOSデバイス用のDataLine4Allモバイルアプリケーションに表示されます 。 より詳細な情報は、個人アカウントでデータセンターの顧客が利用できます。

操作の便利さ

最後に、NORD-4で作業するときに快適さを追加する重要なささいなこと。

荷降ろしエリア。 すべての機器は、特別なコンパートメントを介してデータセンターに入ります。 リフティングテーブルは、あらゆる高さのトラックから機器を箱に降ろすのに役立ちます。







2階および3階の機械室への機器の輸送には、5トンの貨物用エレベーターが2台用意されています。







ロックされたロッカーは、クライアントツール、スペアパーツ、その他の小物を保管するための機械室のある床に設置されます。 これにより、お客様はラックを使用せずに宝物を便利に保管できます。







NORD-4データセンターのすべての主要なインフラストラクチャ施設を見ました。 詳細が必要な場合は、コメント欄で質問してください。 無料のコース「データセンターのエンジニアリングインフラストラクチャの管理」のいずれかのセミナーで、稼働中のデータセンターを確認し、データセンターの運用に関する有用な知識を得ることができます。 サイトに申請書を提出し、確認を待ってから来てください。

次の投稿では、データセンターでの電源の配置について詳しく説明します。