データセンターの冷却システムへの短い遠足。 長所と短所

どういうわけか、Habr'sでデータセンターの冷却日が発表されました。



参加しなければなりません 私はすでに20年前からこのトピックに取り組んできました。

KDPV-小さい。







ツアーは短いです。 とても簡単です。



フロン



古き良き。 彼はDXです。 彼は直接の延長です。 彼はゴガです...



長所：

• 安くて陽気な。
• Uptime Instituteから証明書を取得するための信頼度を調整するだけです。
• それを修理および/または修理できる専門家がいない場所を見つけることは、世界では困難です。

短所：

• 最高のPUE（これは悪いことです。ここではPUEについて説明しません。それについて別の記事を書く必要があります。すべてが一見思えるほど単純ではありません。
• 停電や冷却なし。 つまり または、UPSをすべてのフレオンエアコンに設置するか、負荷と機械室の空気量のバランスを見つけて、UPS運転中に十分な冷気を確保します。 （ちなみに、ここで、「冷たい廊下」の謝罪者に対する主な議論があります。しかし、「廊下」については、これもまた別の悲しい話です。）フレオンエアコンのUPSにも問題があります。 そのようないじめの典型的なUPS-負荷をスローします。 もちろん、コンプレッサー用の周波数調整器を備えたエアコンもありますが、...これまでのところ、このようなオプションは冬の低温セットでは機能しません。 プロセスの物理学を説明する準備ができていませんが、尊敬されている人々の経験から-これはそうです。 その結果、7倍のマージンがあるUPS、または部屋の空気量の再配置のいずれか。
• 低すぎる負荷でのパフォーマンスの低下。 または、「精度」を放棄するか、エアコンの負荷が許容範囲に収まるように部屋にヒーターを設置するか、コンプレッサーを頻繁に交換する必要があります。 さらに悪いことに、多くのエアコンは、頻繁にコンプレッサーをオンにしないように非シャットオフ保護を備えており、エアコンは単にエラーメッセージでオフになります。 （これは、フレオンサイクルの機能に関する別のトピックです...）;
• たとえばスーパーコンピューターのように、負荷が突然大きく変化するリスクがあります。 たとえば、パズルを計算し、負荷が100％から5％に低下し、新しいパズルが負荷され、負荷が5％から100に上昇しました...しかし、3分は経過しませんでした！ また、一部のエアコンには、シャットダウン後3分間コンプレッサーをブロックするタイマーがあります...そして、機械室のスーパーコンピューターに100％の負荷がかかると、温度は毎秒1度以上上昇します。
• 非常に低い温度での作業に関する大きな問題。 -10--15他には何もありません。 -30以下-​​追加のレシーバー、バルブ、自動化を引き出します。 誰もが設計方法を知っているわけではありません。 誰もが設定方法を知っているわけではありません。 すべての「低温」キットが指定温度に実際に耐えるわけではありません。 間違いなく-40で動作する「フレオンカ」が必要な場合は、冬に-40の地域に生活施設がある企業に連絡してください。
• エアコンの新鮮なモデルでは少し怖くない。 しかし、まだ-彼らは湿度を下げます。 フレオンエアコンの典型的な蒸発器温度は、マッシュルームの標準20C 50％RHの露点以下です。 したがって、空気の加湿が必要です。 加湿の実装方法、部屋の設計、換気設定に応じて、PUEにさらに0.1〜0.2プラスを引くことができます...

フリー冷却付きフレオン



同じDXですが、エアコンのキャビネットには（エチレン）グリコールの溶液が存在する別の熱交換器があります。 「設定点」から約5度以下の温度では、フレオン回路がオフになり、「グリコール回路」のポンプがオンになり、すべての冷却コストはポンプとファンの動作のための電気です。



長所：

• フロンと同じ グリコール回路に問題がある場合、エアコンのフレオン部分はほとんど常に自動的に仕事に戻ります。
• 暑い国でもPUEの顕著な減少（これは良い）;
• グリコール部分に正しい予約があれば、フレオン部分に低温キットを使用する必要はありません。 些細なことですが、例えばノリリスクでは有用です。

短所：

• ラッキー。 ファームウェア、設定、メーカーに応じて、夏にはフレオンシステムのすべてのマイナスを取得でき、冬にはフリークーリングでチラーシステムのすべてのマイナスを取得できます（以下で説明します）。 少なくとも-夏には、途切れない電力を確保することに関するすべての問題があります。
• システムの内部ブロックが複雑になり、それに対応して修理を行う職人の数が減少する。
• パイプラインの倍増（実際にはそうではありませんが、それでも...）;
• 外部ブロック用のスペースを2倍にする（ほぼ常に） グリコール回路ドライクーラーは、フレオン回路のコンデンサに追加されます。
• 上記のすべての不利な点の結果として、システムは設計、構築、および操作においてより高価です。

チラーシステム



ここでは、1年間の毎日の出版物に関する一連の記事を書くことができます。 まあ、または非常に厚い教科書。

実装には多くのオプションがあります。



簡単に：



チラーは、液体を冷却し、出口で液体の所定の（低）温度を維持するための装置です。



その結果、冷却システムは、水を冷却するチラー、フィッティングを備えたパイプライン、非常にシンプルなエアコン（ロシアの情報源では「より近い」という言葉をよく目にすることがあります）で構成され、水と空気の熱交換器、制御バルブ、ファンがあります。



グローバルな用語では、その長所と短所に純粋な形で記述されているものはほとんど適用されません。



長所：

• 水の熱容量が大きいため、負荷が大きく変動する問題はほぼ完全にありません。 特に次のプラスが適用される場合;
• サーキットにタンクを入れることができます。 素晴らしいもの。 または非常に大きい。 チラーの価格の中でほぼ無料。 そして、最初に冷水を排出します。 その後、冷却システムまたは電源に問題がある場合、通常のスーパーコンピューターの場合のように、コンピューターがすぐに（たとえば15-40秒で）過熱し、管理者でさえもスリープ状態になっている15-20分後に過熱しないように、回路内に流体循環を提供するだけで十分です彼は目を覚まし、すべてを修正するか、すべてを消します。
• 中断のない動作を保証するには、UPSから循環ポンプに電力を供給すれば十分です。 ポンプに周波数コントローラーがある場合、突入電流のマージンを与える必要さえありません。
• はい、メンテナンスには、フレオンエアコンに加えて、配管工も必要です。ただし、資格のある配管工が少なくとも1人いない地球上の場所を見つけることは困難です。

短所：

• システムの配置方法に大きく依存します。 実装オプションが多すぎます。
• 一般的なケースでは、フレオンシステムよりも明らかに高価です。
• 大規模なシステムでは、2つの回路を実行する必要があります。グリコールは「通りに」、データセンター/建物内の「水」熱交換器を経由します。
• PUEは、フレオンと同じかそれより悪い。 なぜなら 循環ポンプがフレオンに追加されます。

フリークーリングチラーシステム



オプション1.あまり良くない。



これは冷却システムです。 ただし、独立したドライクーラーのグループ、または組み込みのドライクーラーのいずれかがあり、必要なすべての冷却電力を自由冷却によって提供できるときにシステムが切り替えます。



長所：

• 「半年は悪天候で、半年はどこにもありません」...天気が悪い間、路上は寒くて不快です...冷却はほとんど無料です。 ポンプとファンのみが機能します。
• チラーシステムのほとんどのバリエーションのシンプルな実装。
• ソチの北はかなり良いPUEです。

短所：

• 概して、より適切なオプションがあるということだけです。

正しい自由冷却システム



比較的最近まで、1つのメーカーのみがそれを所有していました。 Tolleyの特許は現在失効しており、ライセンスを購入しただけですが、さらにオプションがあります。



長所：

• フリーチリングシステムのすべて。
• さらに、屋外温度がチラーへの入口の冷却液温度よりも低い場合、液体は最初にカウンターフリークーリングに進みます。 フリークーリング回路の後、液体の温度がまだ設定値を超えている場合、液体はフレオン蒸発器に送られ、フレオン回路はワークに接続されます。 些細なことのように思えますが、モスクワにとっては、1年で平均してフリークーリングの有用性が2〜4か月増加し、場合によっては7月でも電力を節約できます。

短所：

• はい、一般的にはそうではありません。 （気づきましたか？これは私のお気に入りのオプションです！）。 はい、システムはフレオンよりも高価で、通常のチラーシステムよりも少し高価です。 しかし、奇妙なことに、通常は「通常の」フリーチリングチラーシステムよりも高価ではありません。

空冷



大まかに、3つのオプションがあります-回転式熱交換器、オープンエア回路、クローズドエア回路。 さらに、各オプションに「断熱」を追加できます...



ロータリー熱交換器



内部の空気循環回路があり、加熱された空気がユニットに入り、ゆっくり回転する「ホイール」の半分を通過し、そこで冷却されてジムに行きます。 そして外側の輪郭。 街路の空気がユニットに入ると、ゆっくり回転する「ホイール」の残りの半分を通過し、そこで加熱されて街路に入ります。 さらに、通常、非常に暑い天候の場合、蒸発器が内部回路の出力でシステムに追加され、コンデンサーが外部回路の出力に追加されます。



長所：

• 良いPUE;
• ほぼ閉じた内部回路、加湿はほとんど必要ありません。
• フロン回路は非常に暑い気候でのみ使用されます。

短所：

• 熱交換ホイールとの接合部の完全な気密性は不可能です。 その結果、空気の流れがあります。
• このため、外で何かが燃えている場合、火災探知機には潜在的に問題があります。
• 何らかの理由で、製造業者はこのシステムに多額の資金を求めています。 見かけのシンプルさにもかかわらず。

オープンエア回路



最も有名なFacebookですが、さらにいくつかのメーカーとインストールがあります。 一般に、このオプションはほとんどの場合、顧客が指定した価格品質フレームワークに組み込まれます。



長所：

• メカニックの観点から見た非常にシンプルなシステム-ファン、2つの制御ダンパー。
• 「オープンフィールド」（グリーンフィールド）での建設で安い。
• とても良いPUE。 ファン、加湿、フィルターのみの費用。
• モジュラーデータセンターおよびコンテナマイニングファームに適切に実装されています。

短所：

• 雨。 はい、彼自身：上から水をいやな水滴で濡らします。 一旦データセンターのFacebookに入ると、雨が降り始めた天井から雲が集まりました...そして、温度と湿度の制御システムの小さなバグ...;
• 「船外」の温度がホールの許容温度よりも高くなる可能性がある場合は、フレオン冷却システムが必要です。
• データセンター外で火災が発生した場合（たとえば、モスクワとその周辺、泥炭地が焼けた場合）に作業を続ける必要がある場合は、フレオンエアコンの100％の電力が必要です。
• 低湿度の地域での加湿には、大量の水が必要になる場合があります。

閉回路



通常、クロスフロー空対空熱交換器を使用します。 内部回路の空気は、外部回路の空気によって冷却されます。 断熱材なし-ロータリー熱交換器および開回路の場合とほぼ同じ長所と短所：



長所：

• 空気の流れはありません。
• 開ループとホイールに比べて加湿コストを削減。
• 外で火災が発生した場合に動作モードを変更する必要はありません。

短所：

• 暖かい季節にアフタークーリングにフレオンシステムを使用しない場合、内部の温度は常に外部の温度より高くなります。 または、プラス、断熱...

断熱によるフリークーリング （私もこのオプションが本当に好きです...）。



一般的な意味では、水の蒸発熱はkgあたり約2.2 MJです。 空気の流れの中の水はほとんど常に蒸発します。 空気の流れに水を噴霧すると、湿度が上がるだけでなく、温度も下がります。



長所：

1. 適切な実装（閉回路​​）で-ほとんどのヨーロッパでの運用では、冷却システムの総容量のフレオンシステムの容量の15〜20％で十分です。
2. 正しく実装されている場合、PUEはヨーロッパのほとんどで1.1であり、ロシアのほとんどで低い可能性があります。

短所：

• かなり大きな水流。 +12〜+14度のオーダーの温度から開始します。
• Tier IIIには、ディーゼル発電機セットからの必要な運転時間全体にわたって、予備の水源または水の供給のいずれかが必要です（約36時間...これは、大量の水、ポンプ用の予備ポンプ、各ティーの3つのタップ、およびその他のTier IIIの喜びです）。
• 一部の地域では、水は高価です。 とても高い。 そして、「大きな価値」ほど「高価」ではなく、地元の人々は、あなたがこの水を飲まないとわかった場合、小さなpogromを手配します...

直接的な「水」冷却



直接的なものでも、水っぽくないものでもあります。 しかし...



長所：

• ホールに騒音はありません。
• ...他に何かありますか？

短所：

• 膨大な数のジョイント、ジョイント、ダクト、クランプなど これまでのところ、2つまたは4つのプロセッサと関連するチップセットを冷却する必要があります。すべてが素晴らしいです。 クラウドデータセンターの15,000台のデュアルプロセッササーバーに関しては...突然、システムが流れていることがわかりました。 常に。 その中のジョイントは数十万ですから。 漏れをなくすために電話をかける必要なしに、1年の間、奥の部屋のふっくらとしたアパートの配管工を見たことがありますか？ そのようなことはありません。 また、アパートの建物では、水冷式の小さなデータセンターと比較して、漏れが発生する可能性のあるジョイントと合致が数百倍少なくなっています。
• 水。 漏れ、漏れ、こぼれは、少なくとも1つのラックが動作しなくなることです。 運がよければ。 このような冷却を使用したデータセンターの実践が示すように、重要なスイッチの1つが水であふれているため、通常、データセンターのヒープのインフラストラクチャ全体で1日以上のダウンタイムが発生します。
• 材料に関する大きな困難。 システムに水と接触するアルミニウムがある場合、システム内に銅を含むものは何もないはずです。 ステンレス鋼合金を慎重に選択する必要がある点まで。
• 次のグループの問題につながります。 すべてのラジエーターを銅だけで作ることは非常に高価です。 そして非常に難しい。 馬鹿げたことに、ラックの質量は、天井を補強する代わりに、ホールの下のすべての地下室と床にコンクリートを注ぎやすいようになっています。 だから、アルミニウムがあるでしょう。 そのため、水と接触するすべての材料を慎重に選択する必要があります。 そうしないと、すべてのチューブ、チャネル、ラジエーターが白いおridgeで詰まります。 これは、機器で正しく使用された場合、「コランダム」と呼ばれます...そして、これはまた、すべてのポンプで排出されたインペラを意味します...;
• BRS（迅速な取り外し可能な接続）。 良いものは、プラットフォーム、プロセッサ、メモリ、ディスクを備えたラック全体よりも高価です。 そして、彼らはラックに少なくとも80が必要です...残りすべて-数日間同じダウンタイムを引き起こします。 そして、これは「これらの」「良い」BRSが少し生産されるというささいなことは言うまでもありません。 ロケットランチャーと一部の軍用機の場合...ショベルからBRSを試しました。 ふさわしくない。 （しかし、これはまた別の話です...）
• いずれにせよ、水だけを使用することはできません。 これは、水、グリコール、腐食防止剤の溶液、蒸留水、またはその他の液体のいずれかです。 彼女はお金の価値があります。 普通の蒸留水でさえ-リットルあたり10ルーブルから。 または水処理システム。 これ...（信じられないでしょう！）...お金もかかります！

水中冷却システム



多くのオプションもあります。 3つの最もファッショナブルで頻繁に考えてください。



鉱油を使用した浸漬冷却。



長所：

• ...興味深い質問です。 何かありますか？ あれば教えてください。 （そして、はい、私は2-3ユニットのスケールについてではなく、8000以上のユニットのスケールについて尋ねています...）

短所：

• 個人的には最悪です。 恐怖症、または何？ 私の手がぬるぬるして油っぽいときは嫌いです。もしそうでなければ、車のサービスで喜んでナットを回します...;
• 恐怖症に関係なく、すべてがオイルです。 ジムに入るすべての人のためのブーツからキャップまでの耐油性オーバーオール;
• プラスチックに適合。 コンデンサ/抵抗器/プロセッサのケースが鉱油で溶けないという保証はありません。 そして、これは保証ケースではありません。
• 高粘度。 その結果、システム内の循環を確保するための高エネルギー消費。
• 高粘度。 したがって、ボード上のいくつかの高温要素の近くで高温スラリーが停滞する確率。 そして、はい、人々は本当にこれに出くわしましたが、すみません、詳細は「分類」されています。
• いずれにしても、熱交換器とグリコール溶液を含む「外部回路」が必要です。 そうでなければ、冬にはあまりにも多くの問題があります。
• その結果、価格はチラーシステムとそれほど変わりません。 多くの問題とジムに行くことを拒否する従業員。 ええ、そうです、このことを取引しようとしている組織は... 10年前にかかったものと同じレンダリングをウェブサイトに持っています。 単一の実際のインストールではありません...
• 正式にそのようなシステムを設計し、試験に合格しようとしている人のために-火災の負荷。 オイル-法律の観点から-は可燃性の液体です。 その後、待ち伏せが始まります-約1000リットルを超える容積-屋内に配置することはできません。 申し訳ありませんが、1000リットルは24ユニットあたり1つのバスタブと配管です。 それ以上のことが、STUの開発を通じて実行するのが最も簡単です。 しかし、これはいずれの場合でも-隣接する部屋の他の要件、前庭の存在に関する他の要件、非常口までの距離に関する他の要件です。 平均して-住宅から数キロメートル離れたきれいな場所にコンテナを入れると、多かれ少なかれ妥当なお金ですべてを形式化する機会があります。 これをモスクワ、サンクトペテルブルク、エカテリンブルク、ノボシビルスクに配置しようとする場合は、検査機関から突然訪問した場合に備えて、クラッカーを手に入れることを忘れないでください。

Novek 7000シリーズによる浸漬冷却



このNovekシリーズの液体の沸点は60°C以上です。 したがって、「水」を備えた熱交換器であるNovekを備えたバス。 混合するか、単に対流するもの。



長所：

• 作品;
• ティアIIIを作成できますが、後でティアIIIであることをUptimeに証明することはそれほど簡単ではありません。
• 数十年前などの予測可能な将来のNovekは、超小型回路のハウジングの損傷、接点の酸化などにつながりません。
• 競合組織は肝臓の損傷について話をしようとしているが、それはまだホモサピエンスに無害であると考えられている...
• 火災の負荷を計算する際に、プラスチックやサーバーボードなしでやろうとすることができます。 それはささいなことのように思えますが、これは従来のランプと桁違いに高価な防爆ランプの違いである場合があります。

短所：

• 価格 実際、私はまだ他の短所に会っていません。 しかし、もしあなたが投資回収を検討し始めたら...それほど速くはありません。

沸騰/凝縮Novekによる浸漬冷却。



長所：

• 最もクールなトピック。
• Novek全体が沸騰するまでコンポーネントを過熱することはできません。
• 沸騰/凝縮なしの浸漬冷却と比較してNovekの体積は小さく、これはコストの差の「入浴」に対して数千ドルになる可能性があります。

短所：

• 他のノベック。 彼の番号が見つかりませんでした。 40〜50度程度の沸点が必要です。
• Novekの一部は蒸発し、熱交換器で浴槽の外に落ちます。 時々買い戻しが必要です。
• 値札。 約100立方メートル kgあたり 1リットルあたり1.5 kgの領域で同じ密度。
• 100 cuで運転します 路上でリットルあたり-高すぎる。 したがって、熱交換器、ドライクーラー、グリコール、サイズ変更されたポンプがあります...
• 自動化、まだ誰も実際のデータセンターに行っていない...些細なことですが、データセンターの所有者全員がNovekからの最初の雨の観測者になりたがっています。 このような雨は、電子機器にとって正式かつ完全に安全ですが...

結論：



冷却システムにはすでに多くのオプションがあります。 データセンターのオプションを選択する最終決定を下す前に、お金を慎重に検討する必要があります。 すぐに投資する金額、データセンターが「グリーン」になるという事実にどれだけのお金を使うか、どれだけ早く「グリーン」に投資を「取り戻す」か。