データセンターの構築、パート3：冷蔵

ヤロスラブリの新しいデータセンターの建設と データセンターのエネルギー供給システムの選択に関するトピックの後、鉄とその選択についての質問がまだありました。 このシリーズでは、Natural Free Coolingを選択した理由とその仕組みについて説明します。

教育プログラム

テクニックは熱くなっています。 この事実をあきらめることは不可能です。温度の上昇は、鉄、主にプロセッサとハードドライブにとって危険であり、さらに多くの悪影響をもたらします。 多くのメーカーは、機器が動作する温度範囲を厳密に示しています。 さらに、データセンターでは機器の統合が行われていないため、異なるメーカーのデバイスが隣接している場合があります。



まず、冷却システムは高価な機器であり、多くのエネルギーを消費します。 第二に、スペースの使用密度は、そのようなシステムの選択に依存します。使用可能なボリュームに、補助ノードではなく、より多くのサーバーを収容することが可能です。



サーバー自体に加えて、他のパラメーターも考慮する必要があります：施設内の要員の数、鉄に対するメーカーの要件、照明システム（およびそれらを含める頻度）、およびその他、壁の厚さや材料など。 そのようなデータに基づいて、除去する必要がある熱の計算が行われます。 このような計算により、適切な冷却システムを選択できます。 前のシリーズに戻ると、システムは平均的な指標ではなくピークによって計算されるため、気候が一般的に涼しく安定している条件でデータセンターの場所を選択しました。



教育プログラムを継続します。一見すると、普通のオフィスのエアコンで問題を解決できるように思えるかもしれません。 はい、それらは人間には受け入れられますが、データセンターでは温度と湿度を正確に制御する必要があります。 温度変化の最大速度は、摂氏18〜27度の範囲で1時間あたり5度以下、湿度は40〜60％の範囲です。これは多くの要因によるものですが、主な原因は、過熱や故障による機器の保護です露（湿りすぎて寒すぎる場合）または乾燥して暑い場合は静電気放電が発生します。

もう少し詳しく

サーバールームでは、正確な気候条件を作成する必要があります。その主な条件は、サーバーの吸気口での冷気の温度、エアコンの吸気口での温風の温度（これらのパラメーターの差をΔTと呼びます）、および湿度計で測定した湿度です。

• サーバーの吸気口の温度は非常に低い（摂氏+10または+12度）場合がありますが、これには非常に生産性の高い空調システムと、計画された利点を備えたコストでは計り知れないほどの寒さを作り出すための莫大なエネルギーコストが必要になります。
• エアコンの吸気口の温度は、エアコンの室内ユニットの特性のために高すぎる（30〜32度以上）ことはできません。そうしないと、エアコンが冷えたり、故障することさえありません。
• ΔT-空調システムの性能を特徴付けるパラメーターは、10〜12度以内で変化します。 つまり エアコンの出口で16度、エアコンの入り口で、空気がホットサーバーを通過した後、26〜28度になるはずです。 サーバー内の空気が非常に高く加熱されることは明らかであり、その温度を下げるために、サーバーの出口で冷たい空気で熱い空気を希釈する必要があります。これはいわゆる混合です。 タスクは、室内ユニットの過熱を防ぐことです。 この操作では、SLEの有効性が失われ、エネルギーが無駄になります。
• 部屋の相対湿度は低すぎてはいけません（30％未満）。 サーバーボードに静電気が蓄積され始め、サーバーボードが無効になる可能性があります。 磁気テープなどの特定の機器もあります（すぐに-いいえ、テープドライブは使用しません）：乾燥して劣化します。 湿度が高い（70％以上）場合、結露が発生し、接点が閉じます。
• TIER分類を使用して、Uptime Instituteの標準に従うことが重要です。システムは、ノードの障害の可能性を考慮して継続的に動作する必要があります。

決定の選択

ハードカレンシーの参照条件を作成する際、データセンターの設計と建設の分野（TIA 942、ASHRAE、BICSI）の特別な標準の推奨事項に沿って、次のパラメーターを採用しました。

• Uptime Instituteの分類によると、すべてのシステムコンポーネントの信頼性はTIER 3を下回っていません。
• すべてのN + 2コンポーネントの予約。Nはプロジェクトに必要なハード通貨コンポーネントの数です。
• 1日24時間、1年365日。
• ラックの入り口の温度は、摂氏+18〜+27度です。
• 湿度40％-60％;
• システムは、-40〜+40℃の外部温度で正常に機能する必要があります（緊急ではありません）。
• 平均年間PUE（電力使用効率）は1.3以下であり、これは最も重要な選択基準の1つです。

ハードカレンシーの組織化のためのソリューションを選択する際、古典的なエアコンからフレオンまで、京都の未来的な車輪で終わる多くのオプションを検討しました。 ただし、必要なすべてのパラメーターを順守するために、データセンターで使用される従来のスキームよりも実装のコストが高く、最も重要なのは長期的な運用であるソリューションが必要でした。

選択肢

DXフロンエアコンに構築されたクラシックな精密空調システム

これらのシステムは、オゾン層を破壊しない承認済みのフレオンで動作します。 フロンは、2つのガスに基づいて形成される物質と呼ばれます-エタンとメタン、塩素とフッ素原子による水素原子の置換（したがって、クロロフルオロカーボンとも呼ばれます）。 エアコンで使用されるすべての冷媒は、人間や動物にとって不燃性で安全です。 ただし、ほとんどのクロロフルオロカーボンはオゾン層を破壊すると考えられています（正確な証拠はありませんが、念のため有効な冷媒は禁止されています）。 いずれにせよ、ヨーロッパのメーカーとヨーロッパ市場に焦点を当てたメーカーは、エアコンの90％で使用されている「古典的な」R-22フロンの代替品を探すことを余儀なくされました。 代替として、R-410AおよびR-407C冷媒が選択されました。 オゾン層の危険の単位として、多くの冷蔵庫がまだ稼働しているR-12フレノンの可能性がとられています。 R-22フロンのオゾン層破壊係数は0.05であり、新しいR-410AおよびR-407Cフロンのオゾン層破壊係数はゼロです。





DX屋外ユニットを備えた精密フロンスプリットエアコン



これは一種の冷蔵庫です。 サーバー-これはサーバー（製品）が保管される場所です。 この技術の使用は、電気の支払いに高い費用がかかることを意味します。 達成可能な最小PUEは、他のすべての条件が同じであれば、2.0よりも効果的ではありません。 つまり 500キロワットの容量のサーバーに電力を供給するには、サーバーに1,000キロワットを持ち込む必要があるため、500キロワットを風にさらすだけです。



電気は、コンプレッサー、室内機ファン、加湿器ポンプ、屋外ファンなどの多数の機械システムの動作に費やされます。 フロンが閉ループで循環するため、熱が除去されます。 高温のフロンはコンプレッサーによってパイプを介して外部ユニットのラジエーターに送られ、ファンがチューブを冷却し、冷却されたフロンはサーバールームに設置されている屋内ユニットに入ります。 このタイプの空調の操作は、時期に依存せず、非経済的なモードで常に機能します。



このソリューションは、冷水システムにアクセスできない部屋や、チラーを設置できない部屋に適用できます。 最も古く、最も効率の低い技術。

CWチラーに基づく精密空調システム（自由冷却）

外部冷却装置とドライクーラーを備えた、水冷却液（水、グリコール）による精密空調



自由冷却技術（冷水）を使用して、乾式冷却塔とチラーを組み合わせたシステム。 解決策は前のオプションに似ています-室内ユニットと室外ユニットの間を流れる冷却液（水）があります。 エネルギーは、外部および内部ファンの回転と、この同じ水を駆動するポンプグループに費やされます。 ただし、水の供給量は大きいため（いわゆるコールドアキュムレーター）、したがって、寒く比較的寒い季節（最大+10度まで）では、システムは、周囲の空気との接触によって冷却される水を蒸留するためだけに最小限のエネルギーを消費します。



このようなソリューションにより、データセンターのエンジニアリングインフラストラクチャのエネルギー消費を最適化するとともに、ハードカレントシステム全体のモジュール性と柔軟性を実現できます。 このシステムを使用すると、PUEを1.7に減らすことができますが、初期投資はDXシステムの場合よりもはるかに高くなります。

外気による直接冷却。 直接自由冷却（DFC）

直接空冷（DFC）システムのブロック図



通りからサーバールームに直接入る外気を使用した冷却システム。 システムは次のように構成されています：ファンは通りから空気を取り入れ、フィルターを通してエアダクトを通過させ、フィルターシステムは一貫している必要があります：最初の粗洗浄（EU1-3クラスによるフィルタリング）、次に有害な懸濁液や粒子の除去（EU4-7クラスによるフィルタリング） ）、最後の準備とサーバールームへの空気供給（EU8-13フィルター）。 サーバールームからの熱気はファンによって放出され、部屋の天井への対流により上昇します。



このようなシステムの効率ははるかに高く、PUE 1.3までですが、多くのマイナスが現れます。 フィルターを常に変更する必要があります。 フィルターの数が多いため、風速が低下するため、より強力なファンを設置する必要があり、これにより振動と騒音が増加します。 実際、通りと同じ湿度パラメーターの大気がサーバールームに入ります。秋に雨が降ると、北の湿度が値の100％に上昇するため、空気抜きシステムを使用する必要があります。 低湿度または森林火災の状況では、エアダンパーを制限または完全に閉じて、従来のDXまたはCWエアコンでサーバールームの冷却に切り替える必要があります。これにより、エネルギー効率が低下し、エネルギーコストを含む運用コストが増加します。

さらに、自然の直接冷却システムは、フリークーリング技術を使用するシステムと同様に、一年中機能しません。 夏には、空気が熱くなり、サーバールームを冷却できなくなります。 このためには、最初の2つのオプション（CWまたはDXシステム）から追加の空調システムを使用する必要があります。 もちろん、最初の2つの場合よりも動作時間が短くなります（50％以下）。 しかし、全体として、 DFCソリューションは、純粋なDXまたはCWシステムよりも効率的で安価です 。

自然冷却。 自然冷却（NFC）

フリークーリングシステム（NFC）ブロック図



ただし、外部の周囲空気を使用する冷却システムでは、空気はサーバールームに直接入らず、熱交換器を冷却します。 同時に、ろ過チェーンを使用する必要がありません。復熱装置への入口で空気を粗くするだけで十分です。また、サーバールーム内の所定の湿度を常に維持する問題も取り除きます。 クローズドサーバー冷却ループ。 このようなシステムのPUEは、気候の緯度で1.09に達します。



DFCと同様に、NFCシステムは一年中機能しませんが、ソリューションの有効性により、CWまたはDXを使用せずに合計年間サイクルを最大80％増加させることができます。 もう1つの重要な要素は、ノードの（エキゾチックなシステムと比較して）かなり単純な複製の可能性です。 私たちはそれを選択しました-Natural Free Cooling（NFC）。

仕組み

システムは、外部と内部の2つの独立した開回路で構成されています。 データセンターの空気は内部回路を循環し、街路の空気は外部回路に供給されます。 システムの主な要素は、熱交換器であり、外部の周囲の空気とセンターの部屋の空気との間で熱交換が行われます。 加熱された空気は排気ダクトによってホットゾーンから除去され、冷却された空気は冷たい廊下に供給されます。 ファンをレキュペレータに追加して、これらすべてを箱に入れると、NFCモジュールが得られます。



通常の操作では、最大+18の外気で、NFCシステムは次のように機能します。

-ファンは、通信ラック内の機器によって作成された高温サーバー廊下（温度範囲35〜40℃）から空気を取り入れ、熱交換器の下部に輸送します。 外気は外部から取り込まれ、復熱器の上部ゾーンに供給されます。 外気は復熱器を通過して内部回路を冷却し、その後冷気がサーバーに戻って上げ床領域に流れます。





NFCの動作原理。



屋外温度が+18から+24の範囲で上昇すると、追加の断熱冷却システムがオンになります。





断熱冷却スキーム。



このシステムは、外気を冷却する水霧を作成するために使用されます。 温度の低下は、水の蒸発によって達成されます。



温度が+24を超えた場合、または事故の場合、または外気での燃焼の証拠がある場合、CWシステム上に構築された追加の冷却回路（チラー、2回路設置、それ自体の予約はN + 2の原則に従って実行されます）が操作に含まれます





リモートコンデンサーユニット。





チラー。

おわりに

ゼロから立ち上げるためのコストが最適なテクニカルセンターを作成するという課題に直面しました。 テクノロジーの選択は簡単ではありませんでした。もちろん、まず第一に、誰もがクラシックで実績のあるソリューションの方向に目を向けました。 しかし、判明したように、TCOの観点からは従来の技術よりも高価ではないすべての技術はそれほど新しいものではなく、欧州の電気通信事業者の主要なデータセンターを運転するときに個人的に見たように、ヨーロッパでうまく使用されています。



多くの決定において最初になり、レーキを踏むリスクは大きいですが、私たちは、タイムテストされ、事故や緊急事態が発生した場合に機能する従来のチラーシステムの形で保険を持っています。



^{使用される材料は、プロジェクトチームのエンジニアリングシステムの専門家で、ヤロスラブリのデータセンターを建設するIvan Prokofievです。}