長生きするオーバークロッカー：データセンターで液体冷却が支配的になり始めた方法

「高速コンピューターは空気なしではできない」

映画「アイアンマン2」には、トニー・スタークが亡き父からの古い映画を見る瞬間があります。彼は次のように語っています。「私は自分の時代の技術に制限されています。 そして、あなたは世界を変えるでしょう。」 それは素晴らしいですが、それが表現するアイデアは非常に現実的です。 多くの場合、エンジニアのアイデアは時代を大きく先取りしています。 スタートレックには常にガジェットがありましたが、タブレットと電子書籍を作成するために、世界の何十年にもわたって働かなければなりませんでした。



液体冷却の概念は、このカテゴリに完全に適合しています。 このアイデア自体は1960年代から存在していましたが、空冷のはるかに安価で安全なオプションと比較すると、根本的なままでした。 2000年代に液体冷却が少し発達するまで40年以上かかりましたが、それでも主に、IntelとAMDが推奨する制限をはるかに超えてCPUを分散させようとしたPC愛好家の特権でした。



今日、液体冷却システムが人気を集めています。 このようなPC用システムは100ドル未満で購入でき、産業用アプリケーションやデータセンター（CoolIT、Asetek、Green Revolution Computing、Ebullientなど）を対象とした手工芸品の生産では、サーバー用の液体冷却（）が提供されます。 ZhOは、主にスーパーコンピューター、高速コンピューティング、または大量のコンピューター電力が必要なその他の状況で使用され、プロセッサーはほぼ100％の負荷で動作しますが、そのようなオプションはより一般的になりつつあります。



ZhOには、直接チップ冷却と浸漬の2つの一般的なタイプがあります。 直接冷却では、ラジエーターは標準クーラーのようにCPUに接続されますが、代わりに2本のパイプがそれに接続されます。 1つはCPUの熱を吸収するヒートシンクを冷水で冷却し、もう1つは高温のままにします。 その後、冷却され、血流に似た閉回路でCPUに戻ります。



浸漬冷却中、機器は液体で満たされます。液体は明らかに電気を通さないはずです。 このアプローチは、原子炉の冷却プールに最も似ています。 水中冷却は依然としてより高度なオプションであり、通常の水を使用できる直接接続よりも高価なクーラントが必要です。 さらに、漏れのリスクが常にあります。 したがって、最も一般的なオプションは直接接続です。



主な例の1つとしてアルファベットを取り上げます。 Googleのこの親会社が2018年5月にAI TensorFlow 3.0のプロセッサを導入したとき、ディレクターのSundar Pichaiは、これらのチップは非常に強力であるため、「初めてデータセンターに水冷を設置する必要がありました」と述べました。 アルファベットは、生産性の8倍の増加のためにこの価格を支払わなければなりませんでした。



一方、Skybox Datacentersは最近、石油およびガス探査用に設計されたDownUnder GeoSolutions（DUG）の40,000台のサーバーを備えた巨大なスーパーコンピューターを作成する計画を発表しました。 このプロジェクトは、既存のどんなものよりも250ペタフロップスの計算能力を生み出し、誘電性流体で満たされたタンクに浸されると、流体によってサーバーが冷却されることが期待されます。



いずれにせよ、「液体冷却は未来の冷却であり、常にそうです」と、エクイニクスのデータセンターオペレーターの設計部門副社長であるクレイグ・ペニントンは述べています。 「これが正しいアプローチであることは明らかですが、誰もそれを適用していません。」



ZhOは、コンピューティングの転換期の難解なアートから、現代​​のデータセンターでほぼ普遍的に受け入れられている方法にどのように変化しましたか？ すべてのテクノロジーと同様に、これは部分的には進化、試行錯誤、および多数のエンジニアリングソリューションの結果として発生しました。 ただし、JOにとっては、今日のデータセンターは、この方法の名のないヒーローである初期のオーバークロッカーに感謝すべきです。





IBM System 360データ処理システムのコントロールパネル

液体冷却とはどういう意味ですか

液冷は、IBMがSystem 360メインフレームの水中冷却の問題を研究した1964年に一般的なアイデアになりました。 IBMによると、700シリーズと7000シリーズは10年以上前から存在し、System / 360は「コンピューターの互換性の時代を開始しました。初めて、製品ラインの異なるマシンが連携できるようになりました」。 コンセプトは単純でした。冷水は、室温以下の温度に冷却するデバイスを通過する必要があり、その後、水はシステムに直接供給されます。 IBMが使用する回路は、ヒートシンクがメインフレームの後ろに取り付けられている場合のバッククーリングとして知られています。 デバイスはメインフレームからの熱気をファンで吸い込み、ラジエーターが車のエンジンを冷却するように、この空気は水で冷却されました。



それ以来、エンジニアはこの基本概念を完成させ、JOの2つの主要な形式である没入と直接接触が登場しました。 浸漬はそれが何であるかです。 電子機器は液体槽内にありますが、明らかな理由により、水にすることはできません。 液体は電気を通さない、つまり絶縁体であるべきではありません（3Mなどの企業は、このために液体を特別に開発します）。



しかし、ダイビングには多くの問題と欠点があります。 液体の中にあるサーバーには、上からのみアクセスできます。 したがって、外部ポートはそこに配置する必要があります。 ラック内の1Uエンクロージャーのサーバー配置は実用的ではないため、サーバーを連続して配置することはできません。 誘電体、通常は鉱物の誘電体は小さく、非常に高価であり、漏れた場合の清掃が困難です。 特別なハードドライブが必要になり、データセンターの変更には多額の投資が必要になります。 したがって、前述のスーパーコンピューターの場合のように、古いデータセンターをやり直すのではなく、新しいデータセンターに浸漬するのが最適です。



対照的に、JOの直接接触は、通常のラジエーターのように、ラジエーター（または熱交換器）がチップ上にあるということです。 ファンの代わりに、2本の水パイプを使用します。1本は冷却用の冷水をもたらし、2本目はラジエーターとの接触により加熱される温水を吹きます。 ZhOのこの形式は最も人気があり、HP Enterprise、Dell EMC、IBMなどのメーカー、およびChatsworth SystemsやSchneider Electricのエンクロージャーのメーカーから採用されました。



直接冷却は水を使用しますが、その品質には非常に敏感です。 ろ過されていない水道水は使用しないでください。 タップまたはシャワーヘッドを見てください。 サーバーにカルシウムを蓄積する必要はありません。 少なくとも直接冷却には、純粋な蒸留水が必要であり、不凍液との混合物も必要になる場合があります。 このようなクーラントの製造は、それ自体が科学です。

インテルの連絡

IBMラジエーターから最新の贅沢な冷却システムにどのように移行しましたか？ 繰り返しますが、オーバークロッカーのおかげです。 世紀の変わり目に、液体冷却は、PCのオーバークロッカーや、公式の制限を超えて速度を上げたいコンピューターを組み立てたアマチュアの間で人気を集め始めました。 しかし、それは標準的なデザインのない難解な芸術でした。 みんな違うことをしました。 このすべてを組み立てた人は、イケア製品の組み立てがまったくナンセンスであるように、そのような巨人でなければなりませんでした。 ほとんどの冷却システムはエンクロージャーにさえ収まりませんでした。



2004年初頭、Intelのポリシーの内部変更により状況が変わり始めました。 カリフォルニア州サンタクララに本社を置いているにもかかわらず、同社のチップのほとんどが設計されているオレゴン州ヒルズボロの設計センターのエンジニアは、数年間特別な冷却プロジェクトに取り組んでいます。 このプロジェクトの費用は100万ドルで、Intelプロセッサ用の液体冷却器を作成することを目的としていました。 残念ながら、Intelはシャットダウンしようとしていました。



エンジニアは別の結果を望んでいました。 プロジェクトを保存するために、彼は、コンピューター用のゲームアドオンを開発したポートランドに本拠を置くFalcon Northwestでこのアイデアを思いつきました。 「その理由は、会社が液体冷却により人々がオーバークロックすることを奨励したためであり、この活動は当時禁止されていたからです」と、Falcon Northwest社長のKelt Reevesは述べています。 そして、この立場で、Intelには独自のロジックがありました。 当時、アジアの未熟な小売業者は、より強力で冷却が悪いという装いでオーバークロックされたPCを販売していましたが、これは大衆の目には何らかの形でIntelの問題に変わりました。 したがって、同社はオーバークロックに反対しました。



しかし、オレゴン州のこのエンジニアは、そのようなクーラーの顧客と市場を見つけることができれば、Intelが譲歩すると信じていました。 （さらに、結果として得られるインテル製品は、市場で入手可能なものよりも品質がはるかに優れていた、とリーブスは語りました）。 そのため、社内での説得と企業間の交渉の後、インテルはFalconによる冷却システムの販売を許可しました。これは特にインテルがすでに数千台生産しているためです。 唯一の問題は、FalconがIntelが関与していることに言及できなかったことです。 Falconはこれに同意し、すぐに完全密閉型オールインワンPCシステムを供給する最初のメーカーになりました。



Reevesは、この最先端のJOソリューションは特にユーザーフレンドリーではないと指摘しました。 Falconはラジエーターに合うようにケースを変更し、水用の冷却プレートを発明しなければなりませんでした。 しかし、時間の経過とともに、ThermalTakeやCorsairなどのより涼しいメーカーは、Intelが何をしているかを学び、一貫した改善を行い始めました。 それ以来、いくつかの製品とメーカーが登場しました。たとえば、CoolITやAsetekは、データセンター向けにZhOを具体的に作成しました。 いくつかの製品-たとえば、破損せず、割れず、最大7年間の保証で漏れないパイプ-は最終的にエンドユーザー向けの冷却システムの製造業者にライセンスの下で付与され、両方向のこのような技術交換が標準になりました。



そして、この市場がさまざまな方向に成長するにつれて、Intelでさえ最終的にその考えを変えました。 現在、彼女はKおよびXシリーズプロセッサのオーバークロックオプションを宣伝しており、ゲーマー向けのトップCPUとともに通常のクーラーを販売することすら気にしません。



「この技術は既に試され、テストされています。誰もが消費者側でそれをやっています」とリーブスは言いました。 IntelはJOを必要とするため、最も強力なCPUを通常のクーラーに提供することをやめました。 それはすでに証明されており、インテルからの祝福を受けています。 これに対する完全な解決策は十分に信頼できないと言う人はいないと思います。」





データセンターの液浸冷却。 ボックスには、パイプを流れる誘電性流体が充填されています。





浸漬によるスカイボックスデータセンターからの液体冷却。 熱交換器はコンピューター機器に浸されており、誘電性流体はタンクから出ません。 水回路は部屋を通過し、各熱交換器に行きます。

液体冷却の実用性を支持する事実

長い間、従来のデータセンターでは、小さな開口部を備えた上げ床が提供され、そこから冷気がサーバーに吸い込まれました。 これは、CRAC、またはコンピューター室の空調と呼ばれていました。 問題は、床の開口部から冷たい空気を吹き込むだけでは不十分だということです。



最近の液体冷却ブームの主な理由は、その必要性です。 今日のプロセッサは熱くなりすぎており、サーバーが近すぎて空気が効率的に冷却できないため、Googleでも言う。 水の熱容量は空気の3300倍であり、水冷システムは、毎分20立方メートルの空気と比較して、毎分300リットルの水を送り出すことができます。



簡単に言えば、水ははるかに効率的かつはるかに狭いスペースで冷却できます。 したがって、電力消費量を削減しようと長年努力した後、プロセッサ製造業者は最大のパフォーマンスを得るために電力を分散させ、電圧を調整することができます。



CoolITのディレクターであるジェフリヨンは、次のように述べています。 -まだ市場に参入していないプロセッサの中には、それぞれ300ワットを消費するものがあります。 これはすべて、AIと機械学習の要求に応じて開発されています。 冷却レベルの成長率は、単に十分ではありません。」



リヨン氏によると、CoolITは冷却システムをチップセット、電力制御システム、ネットワークチップ、メモリに拡張することを検討しているという。 「記憶を奪うのに過激なものはないでしょう」と彼は付け加えた。 -高度なパッケージングを備えたRAMオプションがあり、DIMMあたり18ワットを消費します。 一般的なDIMMは4〜6ワットを消費します。 大量のメモリを搭載したシステムの中で、16個または24個のDIMMがインストールされているサーバーがあります。これは大量の熱を意味します。



ひとつひとつ、メーカーはそのような要求に直面しています。 エクイニクスは、平均密度が5 kWから7 -8 kWに、そして現在15 kWから16 kWに成長する様子を観察します。一部の機器はすでに40 kWの密度を示しています。 「だから、汲み上げる必要がある空気の総量が多くなりすぎる。 それはすぐには起こりませんが、今後数年間で液体冷却の基本的な採用が行われるでしょう」とEquinixのPennington氏は述べています。

浸漬冷却について少し

Green Revolution Coolingは浸漬冷却に重点を置いており、そのディレクターPeter Poulinは、エネルギー効率の観点から、浸漬冷却は2つの理由で直接冷却よりも優れていると言います。 まず、すべてのサーバーからファンが削除されます。 これだけで、エネルギー消費が平均で15％削減されます。 そして、同社のあるクライアントはそれを30％削減しました。



ファンを排除するもう1つの間接的な利点は、沈黙です。 非常に小さなファンがサーバーでよく使用されるという事実にもかかわらず、サーバーのファンはひどく騒がしく、データセンターにいることは熱とノイズの両方のために不快です。 液体冷却により、これらの場所での作業がより楽しくなります。



別の利点は、浸漬冷却システムをサポートするために必要なエネルギーが非常に少ないことです。 可動部品は3つだけです。クーラーを循環させるためのポンプ、冷却塔に移動させるためのポンプ、冷却塔のファンです。 液体冷却された空気を交換すると、電力消費量は空調に費やされた量の5％に低下する可能性があります。 「エネルギー消費量が大幅に削減されるため、他にも多くのことができるようになります」とポールニン氏は言います。 「消費者によっては、データセンターのエネルギー効率が向上するか、データセンターの建設に伴う二酸化炭素排出量が削減される場合があります。」

エネルギー効率の高い液体冷却を支持する事実

かなり長い間、エネルギー消費がデータセンター業界の懸念事項でした（米国環境保護庁は少なくとも10年間この数値を追跡しています）。 今日のデータセンターは、全世界の電力の約2％を消費し、航空業界と同じくらいの量のCO ₂を大気中に放出する巨大企業です。 したがって、この問題への関心は衰えません。 幸いなことに、液体冷却は電気代を削減します。



最初の節約は、データセンターの空調の切断によるものです。 2つ目は、ファンの排除です。 各サーバーラックには、空気を吹き付ける多くのファンがありますが、密度に応じて、その数を小さくしたり、ゼロにしたりできます。



そして、凍結のない「ドライ冷却」技術により、さらに大きな節約を達成できます。 当初、直接接続された冷却装置は水を冷蔵庫に通し、冷蔵庫は摂氏15〜25度に冷却しました。 しかし、最終的に、長い一連のパイプとファンに水を通した液体冷却器は、温水で加熱されたパイプを冷却し、自然の熱拡散も水を十分な温度に冷却することが判明しました。



「このプロセスは非常に効果的であるため、水を低温に冷却することを心配する必要はありません」とペニントンは言います。 -温水は、サーバーからの熱をすべて効果的に取り除きます。 圧縮サイクルは必要ありません。ドライクーラーを使用できます。」



ドライクーラーも水を節約します。 冷蔵庫を使用する大規模なデータセンターでは、年間数百万リットルの水を消費できますが、ドライクーラーを備えたデータセンターでは水を消費しません。 これにより、エネルギーと水の両方が節約されます。これは、データセンターが市内にある場合に非常に役立ちます。



「私たちは大量の水を消費しません」とペニントンは言いました。 -すべてを慎重に設計すると、閉じたシステムになります。 水は注ぎ込まれず、注ぎ出されません。タンクを満タンに保つには、年に1回程度水を加えるだけです。 結局のところ、車に水を常に追加するわけではないので、私たちと一緒です。」

受け入れは有効性に従う

実例の1つ：PowerEdge Dell EMCの製品管理およびマーケティング担当副社長のブライアンペインによると、Dellの液体冷却への切り替えにより、エネルギー効率（ PUE ）が56％向上しました。 PUEは、システムの冷却に費やされる必要があるエネルギーと、システムの運用に必要なエネルギーの比率です[実際、これは、データインフラストラクチャで使用される総エネルギーとITインフラストラクチャの給電に直接費やされるエネルギーの比率です。 perev]。 PUEが3の場合、システムの電力の2倍のエネルギーがシステムの冷却に費やされ、PUE = 2はエネルギーと冷却の両方が等しく消費されることを意味します。 冷却が必要なため、PUEを1に等しくすることはできませんが、データセンターのオペレーターは、図をできるだけ1.0に近づけようとすることに夢中です。



PUEの改善に加えて、デルの顧客が受けるコンピューティング能力の増加は最大23％になる可能性があり、これによりシステムが過負荷になることはありません。 「インフラストラクチャに必要な投資に基づいて、システムの年間収益を予測します」とペイン氏は言います。 -これを家庭用のよりエネルギー効率の良いエアコンの購入と比較します。 少し投資しますが、時間の経過とともに電気代の利点を感じます。」



完全に異なる液体冷却の支持者として、OSCのオハイオ州のスーパーコンピューターセンターを利用してください。 このクラスターは1800ノードを採用しています。 JOに切り替えた後、チーフシステムアーキテクトのDoug Johnsonが言ったように、センターはPUE = 1.5に達しました。 OSCは外部回路を使用しているため、建物から水が除去され、周囲温度まで冷却されます。周囲温度は、夏は平均で30°Cで、冬はそれよりずっと低くなります。 チップは70°Cに達し、水が40°Cに加熱されても、チップよりもはるかに冷たいままで、目的を果たします。



OSCにとっては、多くの新技術の早期採用者と同様、すべて新しいものです。 5年前、同センターはZhOをまったく使用していませんでしたが、現在では25％を使用しています。 センターは、3年後にバーが75％に成長し、数年後には完全にZhOに切り替わることを期待しています。 ジョンソン氏によると、今日の状態でも、センターの冷却に必要なエネルギーはZhOへの移行前の4分の1であり、一般にこのソリューションは総エネルギー消費を2/3削減しました。 「GPUを冷却システムに統合し始めると、割合が増えると思います。」



クライアントの観点から見ると、新しいテクノロジーの評価には時間と労力がかかります。そのため、Dellのような大企業はCoolITと協力してZhOを宣伝することに同意しました。 当然のことながら、漏れは依然として顧客の懸念の一番上にあります。 しかし、すべての変動にもかかわらず、最高のパフォーマンスを達成したい場合、現時点では選択肢がほとんどないことがわかります。



「常にリークの恐れがあります」とCoolITのリヨンは言います。 -状況は変わりました。現在、他のオプションはありません。 高速コンピューターでも同じことはできません。」