事故履歴：1つのデータセンターが8時間立っていた方法

^{衝突後試験の一部：エンジンルームの熱画像検査}



この話は長い間、ある会社のデータセンターで起こっており、事故の結果はすべて排除され、さらに状況の再発を防ぐための改善が行われています。 それでも、何が起こったのかという報告は、データセンターに関与している人や、ほとんど探偵のITストーリーが好きな人にとって興味深いものになると思います。



計画的な停止が予想されていました。 データセンターには2本の線が届き、データセンターの所有者は事前に状況を把握し、必要なすべてのテストを準備して実施しました。 必要なことは、標準的な手順に従ってディーゼルに切り替えるだけでした。

時間X

シャットダウンは電源エンジニアの計画どおりに行われ、無停電電源装置は正常に動作し、データセンターセグメントはディーゼル発電機に切り替わりました（高開始電流の影響を回避するため）。 すべてがそうあるべきです。 同時に、データセンターはまだ設計能力に達していないため、ディーゼル発電機はほぼ2倍の電力マージンを提供しました。

時間P

ディーゼルは1時間半働いた後、コンテナに組み込まれたタンクの燃料が燃料を使い果たしました。 基準によれば、サンルームはDGUで大量に直接保管することはできません。そうしないと、防火問題に関する非常に複雑な認証を受ける必要があります。 そのため、DTがポンプで送られる場所ごとに、個別のストレージが使用されます。 システムは燃料を汲み上げ始め、ここでディーゼル発電機は「咳をして」立ち上がった。



明らかなパニックです。 ディーゼルはすぐに次々にオフになり、何かをする時間はありません-データセンターの電力は消滅します。 少し後に、燃料がかなり長い間タンクに保管されていることが明らかになり、温度変化により、そこに常に結露が形成されました。 さらに、平凡な物理学：水は燃料よりも重く、フェンスの元であるタンクの一番下に沈みます。 その結果、すべてのディーゼルがきれいな水をすくい上げました。 同時に、植物自体には水フィルターさえありませんでしたが、助けにはなりませんでした-フィルターは約半分のリットルを保持し、そこにはもっと多くの水がありました。 同時に、たとえすべてを時間内に理解できたとしても、とにかくディーゼル燃料を短時間で持ち込むことはできません。



結果-計画停止中に、会社はデータセンター全体の緊急停止を受けました。 約8時間。これは大企業の場合、ほぼ四半期ごとの利益に匹敵します。 データセンターは、ディーゼルエンジンで水が汲み上げられた瞬間から、再び市内から電力が供給されるまで立っていました。

起き上がるだけでは十分ではありません。二度と寝ないでください

経営陣は関連する結論を下し、将来問題全体が再発するのを防ぐことにしました。 これを行うには、ボトルネックを見つけるためにインフラストラクチャ全体の監査が必要でした。 この時点で、プロジェクトに接続し、分析を開始しました。



私たちは、世界中のデータセンターの障害に関する知識ベースを収集し、どのように、どのように機能するかについての正確な推奨事項を生成する組織であるUptime Instituteの手法を使用しました。 ところで、このような厳しい要件に従ってデータセンターを構築する方法の詳細については、 責任が増したデータセンターに関するトピックをご覧ください。 興味深い点の1つは、標準に基づく都市の電力入力は常に1つのソースであり（チャネルが5つの発電所からのものであっても）、データセンターの所有者によって完全に制御されないため、追加と見なされることです。 あるかもしれないという意味で（これは良いです）、そうでないかもしれません（これはほとんど正常です）、さらに警告なしに切断することができます-この状況は非常に一般的です。 そのため、Uptime Instituteの専門家は、データセンターインフラストラクチャを分析するとき、常に次のように都市の入力を検討します。詳細については説明せず、都市計画を検討しません。



一方、Uptime Instituteの規格による自律的な部分は非常に重要です。 ディーゼルエンジン、燃料、サービスなどの品質を慎重に研究しました。 ロシアでは反対のことをするのが慣習であり、おそらく必要ではないことを説明します。 誰もが詳細に語ります：そこからこの光線があり、これから、この変電所は非常に良いです...すべての光線が一度にオフになったときのチャギンスカヤの事例を覚えている人がいれば、なぜUptime Instituteがそのようなラインに似ているのかが明らかになります。 標準に従って、データセンターの所有者として所有しているインフラストラクチャを良好な状態に維持し、適切に設計する必要があります。

調査

データセンターは、最新のソリューションを使用して、かなり現代的なレベルで設計および構築されましたが、ご存じのように、悪魔は詳細にあります。 プロファイルエンジニアが最初に言ったのは、非常に複雑で非論理的な配電スキームが実装されたことです。 プログラマブル制御コントローラーと、閉じたアーキテクチャーと1つの「ヘッド」を備えたメーカーに基づいて構築されています。破損した場合、冗長性はありません。 そして、ここで再び、Uptime Instituteの同僚が話していることに注目してください：主要な原則は、基本的に、Tier IIIの1つの文で表現されています（私たちの感情によると、最も人気のある）： どの要素も廃止でき、システムはその完全なパフォーマンスを維持します。



設計ドキュメントの要素では、構造とPUEを除き、標準への準拠に関する言及はありません。これは、すべてを細かく掘り下げて監査する必要がある特徴的な症状です。 別の同様の症状は、設計者に関連して外部機関による認証を必要としない標準が指定されている場合です。 ここでは、あることが紙で宣言され、別のことがオブジェクトで宣言されることがよくあります。 幸いなことに、この場合、プロジェクトのドキュメントは実際の実装に正確に対応していました。

栄養

繰り返しますが、どの要素もいつでも使用停止できます。データセンターは、何も起こらなかったかのように動作し続ける必要があります。 たとえば、オートメーションシステムのコントローラーを除く、ほぼすべての要素は調査対象の特定のオブジェクトで複製されました。リザーブの自動入力の多数のシステムを管理し、特定の負荷（サーバーラック）から入力配電デバイスに配電線を通します。 ラインが予約されているように見えます、シールドは部分的に予約されており、UPSとDGUは予約されています。 ただし、インフラストラクチャの総コストに比べてコストが非常に少ない要素が1つだけ予約されておらず、障害や事故の追加の原因になる可能性があります。 また、何かをすばやく行うのは非現実的です。鉄片を交換するには、データセンターをオフにする必要があります。





シールドへの入力での電流値の測定値の拡大グラフ。 フェーズは均等にロードされ、突入電流が定期的に発生します。





シールドへの入力でのより大きなグラフ2の電流削減。 現在の障害の後、負荷は5〜6秒間同じレベルにとどまり、その後、前のレベルまで段階的に増加し始めます。



次のポイントは、燃料供給システムの動作とディーゼル発電機の同期です。 燃料システムはデータセンターの機能にとって重要であると考えられており、その予約が必要です。 さて、セパレータの欠如、これは私たちの現実の西洋のデザイナーによる過小評価の問題です。 ディーゼル発電機の同期は、Uptime Instituteがバイアスチェックを行うもう1つの重要なポイントです。 それらすべてを実行すると、1人がリーダーを任命し、共通のバスに座って、他のすべてのマシンが交代して同期を試みます。 大まかに言って、短絡が発生しないように、交流電圧の正弦波は一致する必要があります。 いずれかのマシンが同期されるとすぐに、コンタクターがオンになり、共通バスに接続されます。 したがって、すべてのディーゼルは順番に共通線にダイヤルされます。 これがすべてうまくいくように、最新のディーゼル発電機は相互に通信を提供します。つまり、共通の情報ネットワークに結合されます。 この方法のもう1つの利点は、マシンが負荷を分散できることです。



Uptime Instituteは、次の仮定から進めることを提案しています。外部ネットワークがないことを想像してください。ディーゼル発電機で一年中働いています。 今、例えば、ディーゼルエンジンのコントロールパネルを交換する時が来ました。 オフにしました。残りはデータセンターを提供するのに十分です。 そして、マシンを結合するこのバスをバスから削除し、コントロールパネルを削除する必要があります。 このテストは、当社が販売する単一の標準ディーゼル発電機ではなく、合格します。 バスは基本的に線形であるためです。 それらは互いに接続されています。あなたは中央で開き、右側は左側が何をしているかを知りません。 私たちのデータセンターでは、バスがループしている他の制御システムによって、この要件に対する「コンプレッサー」の責任が特に強化されました。 そして、どこでもそれを引き裂くことができ、データは失われず、マシンは引き続き相互に通信します。 データセンターを設計するとき、これを知っている人はほとんどいないため、別のボトルネックがあります。 それは小さく、非常にありそうもないように思えますが、そのような確率の連鎖は、回避することが非常に望ましい最も恐ろしい状況を作り出します。

さらなるテスト

データセンター内のラックの最適でない配置を見ました。 これは当たり前のことだと思われ、多くのことが言われていますが、すべてがよく知られていますが、それにもかかわらず、顧客側のデータセンターの運用に関与している疑いもなく有能で経験豊富な専門家は、機器の配置に関していくつかの間違いを犯しました。



空調システムの専門家は、空調システムの効率を大幅に向上させる（または実装後に）簡単なソリューションを提案しました。 さらに、顧客は容量を増やす可能性を検討しています。これは、負荷が増加したときに便利になる方法です。 さらに、容量を増やすために何をする必要があるかについての推奨事項を書いています。 さらに、SCSの実装とセキュリティシステムの複雑さを評価しましたが、コメントはなく、すべてが正しく行われました。



キーノートは最も重要なシステムにありました。 たとえば、サーモグラムを撮影し、局所的な過熱ゾーンを検索しました。 たとえば、彼らは注入ゾーンを見つけました：









格子放出効果



局所的な過熱ゾーンがありました：スタンドがあり、範囲の範囲から十分なジェットがありません。 冷却されますが、上記では十分ではありません。 さらに、ラックがサーバーで完全に満たされていない場合は、ホットコリドーとコールドコリドーを切り離すためのプラグが配置されます。 そうしないと、オーバーフローが発生します。 概して、ファンコイルのファン速度を上げる必要があります。その前に、下部のサーバーは必要以上に冷却され、上部のサーバーは暖かくなりました。 2番目の例-ブロックの壁があり、サーモグラムで縫い目が見えます：それらの熱伝導率は発泡コンクリートの熱伝導率よりも高くなっています。 当然、これは問題を約束するものではなく、最新のサーマルイメージャーの機能の優れたデモンストレーションにすぎません。





ラックエリア





ホットラック廊下エリア





コールドラックアイルエリア



同時に、データセンターの電源の品質を調べました。入力の電力の品質を確認し、これに特別なグランドを使用しました。すべて正常です。 次に、SCSのいくつかのパラメーター、空気流量、ファンコイルの設置電力と実際の電力との対応をテストしました。すべてが一致し、すべてが正常に機能します。

まとめ

それはすべて事故から始まり、このすべてが分析をもたらし、その結果、より多くの欠点が明らかになり、電力の最適な増加に関する勧告が行われました。



ロシアでは、Uptime Instituteの方法論によると、ティアIIIの代わりに、ティアIIIがTIA 942に従って宣言されることがよくあります。TIAは、本質的に、データセンターがティア3のように見えるために満たす必要がある要件を説明しますが、あなたの裁量で、それを行うかどうかを指定します。 これは推奨標準であり、評価手順は宣言的です：彼らはそれを構築し、それがティアIIIであると述べました。 また、Uptime InstituteとTIAの両方にTier IIIレベルがあるため、顧客はしばしば誤解されます。 サイトが実際に証明書を受け取ったかどうかを確認するには、Uptime Institute Webサイトにアクセスしてください。



データセンターの監査を何度も行った（そして、それらを構築するのに役立った）ため、顧客と請負業者が真面目な場合でも、監査のためにもう1つの側を引き付ける方がより良いとより安全であることを知っています。 供給者、設計者、設置者がどれほど優れていても、彼らは間違っている可能性があるからです。 たとえば、Tier IIIで作業する場合、プロジェクトとそのオンサイト実装の両方は、何年もデータセンター内を歩き回り、バグを探すことに専念してきたUptime Instituteの担当者によってチェックされます。 それらから認証を取得することは困難ですが、慎重なアプローチでこのクエストは完了し、データセンターは実際に4ナインのアクセシビリティレベルで動作します。