責任あるデータセンター：写真ツアー

15年以上にわたり、お客様のためにデータセンターを構築し、サービスを提供してきました。 3番目のデータセンター「Compressor」は、多くの経験を具体化したオブジェクトです。





<sup>配布





ラック</sup>



以下は、データセンターデバイスに関する写真と、その場所、内容、および方法の説明です。



注意トラフィック 。

簡単な紹介

お客様にレンタルするためのデータセンターが必要でした。 ほとんどの場合-銀行、金融セクターの企業、および一般的に信頼性に対する高い要件がある地域の大規模な組織。 そのため、TIER IIIによるさらなる認証のために、Uptime Instituteのルールに従って構築することを直ちに決定しました。



Uptime Instituteは、さまざまな種類のさまざまな実用的なケースをデータセンターで蓄積し、各状況について結論を出した組織です。 標準は、多くの場合、データセンターの設計者が無関係であると思われる多くのことをカバーし、信頼性が低下します。 実際、ロシア連邦には少数の完全に認証されたTIER III DPCのみがあります。通常、施設は保証なしに「ほぼ標準に従って」建設されるか、検証を必要としないTIA-942標準によって導かれます。 そして、信頼性の声明をチェックせずに-言葉だけ。

信頼性のこれらのレベルは何ですか？

非常に無礼な言い方をすれば、TIER Iは、故障が発生した場合、データセンターの運用が停止し、システムが修復されることを意味します。 TIER IIによると、データセンターは継続的に稼働していますが、必要に応じて停止し、重要なコンポーネントの修理や故障の修復を行います。 単一の障害が発生した場合、TIER IIIは停止することなく修復されるため、多くのものが複製されます（複数のノードが同時に壊れた場合、本当に極端な場合にのみ停止します）。 TIER IVは完全な複製を意味します。実際、2つのTIER 2番目のデータセンターが同じ建物内のラックの周りに構築されています。 平方メートルあたりのコストは、それぞれ15K、20K、25K、40Kドルですが、これはアメリカ向けです。 残念ながら、税関とロシアの仕様により、わが国では2〜3倍高価です。 そして、規模の経済が存在する本当に大きなデータセンターにのみ。



この場合、「met石の落下」レベルの障害のみを許可します。これにより、年に1時間35分間操作を中断できます。つまり、フォールトトレランス-99.982％です。

場所の選び方

要件は次のとおりです。

• モスクワ近郊：私たちの顧客は、データセンター間で同期データ複製を必要とする組織であるため、既存のデータセンターから20-40キロメートル以上離れることはできません。 近いほど良い。
• 便利な場所：顧客担当者が絶えずやってくるので、地下鉄からアクセスできる場所が重要です。 プラス-便利な駐車場。
• もちろん、電気の可用性。 データセンターの消費電力は8メガワットです。つまり、このような電力に加えて、ディーゼル発電機用のスペースが2本必要です。
• TIER IIIに従って認証する能力。これは、政府機関、送電線、ガソリンスタンド、およびその他の同様の施設からの撤去を意味します。

データセンターが立ち上がる数年前に見つけた建物は次のとおりです。







以前は、対応する工場のコンプレッサー倉庫でした。 この列車の家は、荷降ろしのために列車を運転しさえしました。 どのような負荷で基礎が考慮されたかを考慮すると（1.2トンのTsodovノルムで1平方メートルあたり6トン）、それは完全に適していました。 建物と屋根のすべての「詰め物」を再度行いました。 もちろん、都市をはるかに超えた場所にデータセンターを建設することは可能でした。これは、建設コストと電気の両方の節約につながります。 しかし、私たちの場合、便利にすばやく到達して同期できることがより重要です。 同期複製中に距離を追加するミリ秒（光の速度）は、銀行にとって重要な複雑な記録操作に数分で加算される傾向があります。



一般に、顧客向けのデータセンター市場は2つの主要部分に分かれています：最初のケースでは、ユニットをラックで販売することについて話します-これらは通常、たとえば、Webサイトを維持する必要のある小規模企業向けのソリューションです。 そのようなデータセンターでは、電力は無制限に供給され、顧客の機器の要件（少なくともラックサイズの点で）など多くの技術的な予約があり、独自のハードウェアを供給することはしばしば不可能です。 市場の2番目の部分は、大規模な顧客向けです。 このようなデータセンターでの鉄の使用は制限なしで実行されます。機器は少なくとも丸い（歴史的にはCRAYでした）ことができ、1台のサーバーで複数のラックを占有することもできます。 私たちの場合、多くの顧客はさらに機械室に機器を入れています。 あなたは頻繁に私たちのところに来て、必要なだけ仕事をすることができます-そして、どんなスタッフでも。 確かに、大規模な委任については警告する方が適切です。マシンルームに5人以上いると、セキュリティの変化が増幅されます。







市からの2本の独立した電力線（それぞれ8メガワット）は、データセンターに適しています。 3番目の予備は、それぞれ2 MVAの7つのディーゼル発電機です。 ディーゼルはN + 1スキームに従って作動します。つまり、6は常に作動しており、1つを修理することができます。 ディーゼル負荷は80％を超えてはならないため、システムは1.5倍のマージンで構築されました。 合計すると、これと電力損失を考慮に入れて、必要な8メガワットより少し多くの電力を供給します。 これらのうち、4.5は鉄に、2.5は冷却に、残りのメガワットは他のエンジニアや他のシステム（ライト、家庭用エアコンなど）に費やされます。







両方の電力線が失われた場合、UPSがトリップし、オートメーションがデータセンターをディーゼルエンジンに切り替えます。 非常に重要な点があります。一部のシステムの始動電流は非常に高いため、ある瞬間にディーゼルに全負荷をかけただけでは、ディーゼルは対処できません。 UPSは数分間動作するため、たとえば10秒遅れて、ブロック単位で機器を順番に切り替える時間があります。 ディーゼルエンジンは1分で起動し、さらに4つのスイッチが完全に切り替わり、データセンター全体が自律電源に切り替わります。



建物の横にはディーゼルエンジンがあります。







バックアップ機器のテストは定期的に実行されます。これは、予備が常に準備ができて機能するために必要です。 たとえば、負荷がかかっているディーゼルエンジンは月に1回チェックされます。 テスト計画には通常、すべてのシステムの使用を含む何らかの種類の緊急シナリオが含まれます。つまり、データセンターが両方の電力線から切断され、UPSがオンになり、監視によりすべての鉄がディーゼルエンジンに自動的に切り替えられ、冷却システムは冷水タンクを使用して熱を放出します（一部が停止します）切り替えにかかる時間（内部回路を除く）など。 その後、「事故」が解消され、自動化によりすべてが通常の状態に戻ります。 これは非常に厳密なテスト手順ですが、エンジニアと顧客の安心のために必要です。 現実には、過去3年間にデータセンターでこのような状況が発生したのは一度だけです。都市からの1つの方向が手動でテストされ、2番目の方向が消えました。 すべてが適切に機能しました。



データセンターの外では、ディーゼル近くのケーブルに約30トンの銅があります。







ディーゼルはタンクからディーゼル燃料を供給します。ここには2つのハッチがあります。







各店舗は30立方メートルに収まります。 タンクからは、すべてのディーゼルエンジンを通過する燃料リングが出発します。 パイプラインも予約されており、各パイプ出口の前にバルブがあります。 したがって、1つのディーゼルエンジンへの1つの入力のみをブロックできます。このディーゼルエンジンの2番目の入力と残りのマシンの両方の入力は、引き続き燃料を受け取ります。



そのようなタンクの1つで1日の作業に十分です。







これが、ディーゼルへのパイプラインの外観です。 パイプの場合、パイプと加熱ケーブルを絶縁する冬の鞘を持つケーシング。 2番目のパイプは「むき出し」です。具体的には、予防保守が行われています。







燃料リングとバルブのパイプ。 また、冬には燃料の問題がないように、予防のためにパイプ加熱ケーブルを取り外しました。



運転を開始する前に、機械室をテストし、各100 kWのヒーター10個を3日間設置し、エアコンをテストします。 なぜそしてなぜそんなに長いのか-そのようなテストルームに着いたとき以下。

私たちは建物自体に入ります

人々は標準的な入り口を通り抜けますが、ここの装置はもっと面白いものになります-そのようなホールを通して：







ローダーは2つあり、テールリフトからランプに簡単に降ろすことができます。 ランプの高さは1.2メートルの上げ床と一致します。 エンジンルームでローダーを運転する際の主なことは、加速するのと同じくらい減速することを覚えておくことです。 1.5トンを超えるサーバーの場合、これは非常に重要なルールです。







IBM System P795は次のとおりです。これは重量が約1700キログラムのサーバーで、10度を超えて傾けることはできません。さもないと、保証はすぐに失われます。







同様のことが、データセンターと別の会社のバックアップデータセンターに何らかの形で配置されました。 私たちの車が到着し、ランプに乗り込み、従業員がサーバーを受け取ってそれを置きました。話すことすらありません。 2番目のデータセンターでは、自転車全体がどのように納品されたかについて生まれました。狭い傾斜路があり、手で持ち込まれなければなりませんでした.6人の健康な男性が少しひっくり返り、別の人がレベルを見て、神が禁じているように、高価な保証を失いました。 そして、サーバーはドアの高さを通過せず、磁気ロックが干渉し、グラインダーで緊急に切断する必要がありました。







比較のために、私たちのデータセンターに鉄を配達する手順は非常に簡単です。IBMの専門家が到着し、入ってきて、見て、喜んで、フォワーダーに電話をかけます。 ちなみに、床はすべての人のために用意されています。床は硬く、最も重い鉄でさえ通常は転がります。 別の顧客は、カーペット敷きの床で1トンあたり鉄片を取り出した方法と、以前のデータセンターから鉄を引き出したはずの理由を思い出します。



ここにエレベーターがあります：それは2.5トンを持ち上げます。 横断的です。1階に移動する必要がある場合は、必要に応じて2階に移動します。







ちなみに、上げ床階には障害者用のトイレがあり、これも標準的な要件です。 確かにロシア語ですが、すべてのルールに従います。







電気は変電所に送られ、その後、メイン配電盤（配電盤）に送られます。







ABP-緊急入力リザーブ。 画面上のすべてのものはモニタリングで表示され、イーサネットケーブルは各モジュールから出ています。







一部の重要なデバイスでは、リモートコントロールが意識的にオフになっています。実際、コンピューターのクリックは安全ではありません。これは悪名高い「ヒューマンファクター」です。 そして、私たちが手を挙げてそれを行うことが重要です。これはもっと意識的です。 同時に、私はあなたに思い出させます、2本のメインラインを切断するときに予備に切り替えることは自動的に行われます-そのような状況では、考えて実行するのに30秒すらありません。







この部屋には、壁の後ろからバスバーを介して変圧器から、下のディーゼルエンジンから高床から電気が供給されます。 シールドはチャンネルを選択し、UPSを放棄します。







これらの素晴らしいバスバーに注意してください：





^{バスバーは、背景の左側のレールのように見えます}



メンテナンスが大幅に容易になります。部品はモジュール式であり、スペースを節約し、簡単に交換でき、必要に応じてブランチを作成するのも簡単です。 それらの代わりに通常のケーブルを使用する場合は、チーム全体で配線する必要があります。 小さなケーブルでさえ、3本または3本一緒に曲げる必要があり、そのようなケーブルについて話す必要はありません。 また、彼は1.5メートルの曲げ半径を持ち、バスバーは直角に曲がります。



ところで、普通のケーブルがあります。 彼らは重要ではない消費者に行く-照明（バックアップがある）、外部空調回路など ここでは、冗長性はディーゼルのみであり、UPSは必要ありません。 印象的なセクション-コアあたり最大240 mm ²にも関わらず、きちんと配置されています。







赤いパイプは消防システムです。 125番目のフレオンが使用され、酸素と結合し、非毒性です。 上げ床の下には噴霧器とセンサーもあります。多少の断熱容積は独自のシステムで供給されます。







安全は常に重要です。 コーナーでは、ホールに必要なもの：







しかし、顧客のラックの電力を制御するシールド。 また、複製されました。 導入マシンは電圧をチェックして監視システムのすべてを表示し、ラックの自動マシンは監視システムでもオン/オフの状態を表示します。これは、たとえば顧客の機器で短絡が発生した場合、誰が、何を、どこで、何をすべきかをすぐに確認できます。







私たちのエンジニアは、たった1つの理由でラックに登ります。それは煙です。 過去3年間で、1つ多かれ少なかれ異常なケースがありました。内蔵UPSのデータストレージシステムで、バッテリーが故障し、配線が燃える特有の臭いがしました。 機械室でソースをローカライズすることはできませんでした（ホールの強風）。 臭いはすぐに消散しました。 お客様に連絡し、許可を受け、火格子に入って、兆候を見て、不具合を見つけて報告しました。 一般に、このような場合のシナリオは非常に興味深いものです。緊急事態では、「宇宙飛行士」が1分以内に到着します-酸素ボンベを持った防護「スーツ」の消防士（消火ガスが発射された後、ホールを歩くことができます）、警備員、およびエンジニア。 ちなみに、最も驚くべきことですが、少なくとも20秒間走らなければならないという事実にもかかわらず、すべての演習で消防士は本当に規範に適合しています。







機械室は、責任の分離を最大化するように設計されています。 簡単に言えば、お客様が機器を密閉することを決定した場合、当社のエンジニアは庭の中に入れないでください。つまり、すべてのシステムはバーの後ろにある必要があります。 これは経験から学んだことです。2番目のデータセンターでは、クライアントのエリアにある小さなものの交換の承認を絶えず取得する必要があります（そして、彼の専門家や警備員に電話して、エンジニアの後ろに立ってください：これが手順です）。 一方、顧客自身がエンジニアリング機器の何かを変更するリスクがあります。一般的に、交差しない方が良いです。







フェンスの内側には、ビデオカメラ、ガス噴霧器、ガス分析管のみがあります。 残りはホールの外です。







それは激しく吹き、冷たい空気は2つの廊下から来ます。各廊下には8つのファンコイルユニットがあります。 上げ床と仮天井には堅固な障壁はありません。 冷たい空気が下からグリルに吹き込まれ、熱い空気が上から取り込まれます。 したがって、冷気がラック内を上昇し、そこで加熱されて上昇し、冷却に向かいます。







カメラがラックをスキャンします。 顧客がアイロン、ラックを移動すると、カメラがすべてを監視します。 廊下が構築されると、カメラは廊下に配置されます。これは、非標準の機器や顧客間のパーティションの編成に便利です。







最初のデータセンターでは、最初にカメラとラックへのケーブルなどのインフラストラクチャを配置し、次にすべてをやり直しました。これは、2人の異なる顧客に同じハードウェアが見つからないためです。 顧客が到着するまでケーブルは敷設されないため、顧客は必要なものを正確に受け取ります。 クロスカントリークロスはあまり望ましくありません。







エンジンルームにはガス噴霧器もあります。 このシステムは、動作後10秒でガスを完全に拡散するように設計されています（フリーアクセスフロアおよび仮天井を含む）。







早期火災検知システムが使用されます。従来のセンサーが60度をキャッチするか、何かがすでに燃えている場合に煙が発生します。 天井には、ガス分析装置の非常に敏感なチューブがあります。







火災の場合の手順：モジュールをシャットダウンし、手で消火し、人を引き込み、エンジンルームのドアの外側にあるボタンを押して手動でガスを開始します。 同時に、機器や電気機器は動作し続けますが、部屋には酸素が残っていません。 煙を消して除去するのに2時間かかり、スーツと気球なしでは誰も部屋に入ることができません。 消火システムと他のすべての人に、200万ルーブルの費用がかかります。 ボタンを押した-過ごした。



これがラックと最も近いインフラストラクチャです。 モジュラーソリューションはすべてに使用されます。 ケーブルシステムボックスが移動します。 光学カートリッジが使用されます。これは、パッチコードのようなコネクタで、ファイバーは12本のみで、動作中に非常に高速に取り付けて変更できます。























スタンドは接地する必要があります。 低電流の機器の場合、これは重要です。



別のホール、ここには床の下に水があります-寒さと熱を供給するためのリングトラック：







これらのリング上のジャンパーの束：それらは予約されています（ラッチでさえも、10年後には一部が閉じていないことを事故で検出しません）。 センサーはどこにでも設置されます。 部屋の下には、漏れがあった場合に水を受け取るための斜面とポンプがあります-電気技師が安全であるように。



火災警報センサー、VESDA。 これが早期火災検知システムの心臓部です。







従来の接地および電位均等化システムが使用されます。 上げ床へのアクセス、上げ床プレート自体も導電性です。 ホール内のオブジェクトはすべて接地されています。 部屋の周りを裸足で歩き、すべてに触れることができます。



そして、これは配電盤とインバーターです。







UPSの効率が非常に高く、熱が非常に少なく、そこにあるものが通常の流入によって迂回されるため、部屋には空調がありません。 空気は、フィルター、加湿器、除湿器を使用して換気室で準備されます。







バッテリーは独自の温度が必要なため、別の部屋にあります。 少し寒い-と容量が減少します。 さらに数度加熱すると、耐用年数は10年から2年に短縮されます。 ホールを埋めた後、約100トンのバッテリーがあります。 バッテリーには圧力リリーフバルブ（水素が放出される）があり、体積爆発の危険性があるため、部屋には別の排気システムがあります。







赤いパイプは外に空気を取り込みます。







バッテリーの接点は絶縁されていません。 そのようなラインの1つは、400ボルトをシャイにできます。 この場合、交流とは異なり、効果は皮膚に限局されませんが、非常に危険な内臓に影響を及ぼします。 一般に、周波数が高いほど、電流による危険が少なくなります。







これはクレーンの傾斜路です。機器の配送ルートを予約する必要があります。 エンジニアを輸入するときは、すでにクレーンのランプを使用していました。







ところで、ランプの出口で床に格子が必要な理由を推測しますか？







そして、この部屋で厳密な冷却テストが行​​われます。







ホールには、空気を72時間加熱する100 kWのヒーターがあります。 テスト中、長時間加熱しても温度が上昇しないことを理解することが非常に重要です。結局のところ、短いテストでは、これがエラーであるか、壁による熱の蓄積であるかは明らかではありません。 これは、データセンター内の誰もが壁、天井、蓄熱器としての機器の能力を測定しないという単純な理由で長い間行われてきました。 空気は5〜10分で暖まり、その後、すべての熱が壁などに入ります。 別のデータセンターの部屋が4時間保温された場合がありました（自動的に約35度に切断された機器の電源を入れることは不可能でした）。 温度がある程度変化しない場合のみ、テストは完了したと見なされます。







人々が行く部屋で-水消火。 消火の種類が異なるボリューム-ガスとスプリンクラー-は互いに隔離されています。 スタッフエリアは快適な温度に維持されます。











これはポンプ室です。 2つの冷却回路があります。







システムがどれだけの電力を消費するかを考慮すると、ディーゼルへの切り替え中に維持するために、UPSを備えた巨大なホールを設置する必要があります。 当然のことながら、よりエレガントなソリューションがあります。13度の冷水でプールを維持するだけで十分です。これは、UPSと同じ効果をもたらします（結局、電気の結果は冷水です）が、損失も遅延もなく、複雑なメンテナンスも必要ありません。 プールでは、事前に冷やされた90トンの水で、少なくとも15分間の標準操作とUPSからの電力で十分です。 残りはディーゼルエンジンによるものです。 外部の熱は、チラーと冷却塔を備えた2番目の回路を介して除去されます。 ちなみに、チラーでは、冬では凍結しないように、水ではなく、ウォッカなどのグリコールの水溶液です。 回路の交差点-熱交換器内。







パイプは、理想的には10年間交換せずに立つ必要があります。 彼らが成長しないように、水は浄化されなければなりません。



プールは背後（ランプの後ろ）に見えます-これはその上端です。







屋根-ここにチラーと乾式冷却塔があります。







夏には、フレオンクローザーが使用されます。残りの時間は、フリークーリングモードに十分な外気があります。 グリコール溶液は、外部が外気であるラジエーターを介して追跡されます。 ラジエーターの1つがオンの場合、多くの物がフリーズする可能性があるため、オンにするとフリーズする可能性があります。 これを回避するために、バイパスパイプが使用され、加熱されるまでオーバーフローした溶液は流れません。











上のランプは次のとおりです。







CHP。 ちなみに、ウィキマピアでは「原子力発電所」だと書いた悪人もいます。そのため、外国人は「核施設の建設に夢中ですか？」という質問でTIER IIIの証明書をほぼ台無しにしました。彼らはこれが普通の火力発電所であることを長い間証明しました。







ここに、データセンターの施設に供給するための空気の準備-換気室



















があります：1階には変圧器があります：











そして、ここは顧客の代表団のための共同作業のような部屋です。







もちろん、最初に、インストール後にサーバーを構成する場所が必要です。第二に、ある時点で、鉄の徒歩圏内にいる必要がある人々が残っています。第三に、軽い服を着てデータセンターに来た場合、ホールで風邪をひくことができるため、熱いお茶を飲む場所が必要です。クライアントのラック数が100の場合、管理シフトもここにあります。



これが食堂です。それは居心地がよく、またすべての機器を複製しました。























責任が増したこのようなデータセンターを次に示します。