ミッドレンジのスーパーコンピューターの問題

「 インテルとの5週間 」プログラムの3番目のシリーズは、ハイパフォーマンスコンピューティング（HPC）に特化しています。これは、スーパーコンピューターとそのコンピューターで実行される計算の専門用語で使用される名前です。





この写真は投稿に関連しています。





コーポレートテクノロジースペシャリストのコンスタンティンザンコフは、Intelでのプレセールと呼ばれるものに従事しています。彼の主な仕事は、HPC業界と従来のIT環境のプロセッサー、プラットフォーム、テクノロジーに関する技術的なアドバイスを大規模な顧客に提供することです Konstantinは、顧客がこれらのソリューションをITインフラストラクチャに統合するのを支援します。 カタの前の写真で、コンスタンチンは彼の子供時代を思い出します:)







Andrey Seminは、EMEAのIntelのCTOです。 1999年以来、IntelでHPCに10年以上従事。 2004年まで、彼はモスクワのオフィスで働いた後、ミュンヘンに移り、開発者、販売者、ソフトウェアユーザー（たとえば、多くの営利企業が独自にスーパーコンピューターソフトウェアを開発するなど）そして、HPCシステムのエンドユーザー-自動車産業や石油およびガスの企業顧客から気象サービスなどの政府機関まで。



アンドレイは、あなたがこのように大きく深刻な立場にあるので、振り返って、ロシアの高性能コンピューティングの分野で過去5〜7年の間に何が変わったかを定式化してみてください。



：ロシア市場はヨーロッパの他のどの市場よりも私に近いので、私は市場で起こっていることを非常に密接に追っています。 2000年代前半には、ロシアはスーパーコンピューター業界にほとんど参加していませんでしたが、 MSC RASという 1つの大きなセンターしかありませんでした。 Top500スーパーコンピューターリストに入らないスケール。



2000年代半ばに近づくと、業界の転換点が発生し、ロシアのシステムがTop500に登場し始めました。最初は2〜3、6〜8でしたが、最後の6月のスーパーコンピューターのリストは11でした。スーパーコンピューターのプログラムは、より焦点を当てています。 2002年に、SKIFプログラムが作成されました。このプログラムは、トムスク州、南ウラル、モスクワ州などの大学におけるクラスターの作成に徐々に資金を提供し始めました。



これと並行して、工業用部品が持ち上がり始めました。 ロシアでは、ハイテク製品を開発する企業に集中しています。 たとえば、航空機エンジンの開発者は高性能のコンピューティングを使用します。これは、最新のモデリング技術なしでは最新の競争力のある航空機エンジンを作成することがほとんど不可能だからです。 ロシアでは、ロシアの航空機用の航空機エンジンを開発し、ロシアおよび海外で販売するサリュート工場およびサターン工場に基づいて作成された企業がこれに従事しています。



ロシアの学術部門のトップ500リストの最終版には5つのシステムがあり、残りの6つのシステム（ロシアのシステムの半分以上）は商業部門（銀行やHPCを使用してビジネスを行う他の企業）で終わったのは興味深いです。 これは、一方ではスーパーコンピューターシステムを操作できる専門家が現れ、他方では高性能システムを使用することの重要性を理解する人々が商業部門に現れ始めたことを示唆しています。 たとえば、銀行セクターでは、投資ポートフォリオのリスクを評価するためにHPCが一般的に使用されます。



要約-現在、ロシアでは、HPC市場が着実に成長しています。 システムは商業部門に登場し始めました。これは、高性能コンピューティングが民主化され、スーパーコンピューターを操作し、特定の実際のアプリケーションに対する重要性を理解できる人々が登場していることを示唆しています。



ハイテク顧客の例はありますか？



：はい、たとえば、ロシアの企業Rock Flow Dynamicsは、石油およびガス産業向けの専用ソフトウェアを作成しています。 私たちはRFDと非常に良い友達です。彼らは常に最新の開発、特に最新のプロセッサを常に試しています。



Rock Flow Dynamicsは、20人の数学者、物理学者、およびエンジニアで構成されるロシアのチームで、油田およびガス田のコンピュータモデリング用の専門製品であるtNavigatorを開発しています。







RFDは、国内および国際的な慣行におけるユニークなケースです。 tNavigatorに取り組んで5年間、元ユコス出身者は、業界リーダーのシュルンベルジェのソフトウェアと簡単に競合する最先端のソフトウェアを作成しました（2009年の年間8万人、年間売上高は200億ドル以上）。 tNavigatorは、油田サービス業界で採用されているコマンドラインプログラムとは根本的に異なるインタラクティブなビジュアルアプリケーションです。 ただし、tNavigatorへの関心の高まりは、Intelプロセッサに基づくマルチコアデスクトップシステム用にパッケージが最適化されているという事実によっても説明されます。 RFD責任者Vasily Shelkov ：







2005年、旅の最初にインテルと出会いました。会社の従業員は、将来はマルチコアプロセッサと並列プログラミングにあると確信しました。そのため、パッケージがマルチコア機器で動作するという前提に基づいて開発を開始しました。 シュルンベルジェなどの競合他社のソフトウェアは、20〜30年間市場に存在していました。 計算の現実は当時と現在では著しく異なることは明らかです。そのため、ソリューションのすべての能力と並列性を備えていても、実際にはソフトウェア開発で使用できるすべてのテクノロジーを使用していないため、現代のシステムでは2倍になります。







最新のIntel Xeon 7500シリーズでのtNavigatorの作業の例としては、VolgoUralNIPIgazのプロジェクトがあります。前世代の機器や他のソフトウェアによって実行されたフィールドのモデルは、12時間以上計算されました。 tNavigatorとXeon 7500を組み合わせることで、1時間20分で同じ問題を解決できます。







ロシアのHPCソリューションの開発と実装に関与しているのは誰ですか？



：ロシアには、スーパーコンピュータの独自の設計の開発に携わる2つの主要な企業、 T-Platforms企業とRSK SKIFがあります。 R-Style、Storus、Aquarius、Kraftwayなどの標準コンポーネントに基づいて高性能クラスターを作成する企業がいくつかあります。 彼らはまた、決定に標準的なコンポーネントを使用しますが、市場に影響を与えます。



Intelは最近、サーバープロセッサの製品ラインを更新しました。 高性能ソリューションの場合、Intelはマザーボード上のプロセッサソケットやその他の配線を可能な限り保存しようとしているという印象を受けます。 古い機器との互換性はどのくらいですか？



：ソケットは本当に互換性がありますが、マザーボードには、たとえばプロセッサの電圧レギュレータに関連するニュアンスがあります。 多くのメーカーがあるため、それらのいくつかはより良く、いくつかはインテルが提供する推奨事項またはリファレンスデザインに従います。 私たちの推奨事項をより注意深く守る人は、より良い互換性を持っています。 残念ながら、これはすべてのメーカーに言えることではありません。



最終的に、一部のメーカーはBIOSの更新を管理し、その後新しい機器は正常に動作しますが、他のメーカーはマザーボードの新しいリビジョンをリリースする必要があります。 問題は、これが最終顧客にとって何を意味するかということです。 彼がすでにシステムを購入していて、システム内のプロセッサを交換したいだけの場合（それ自体はそれほど一般的なケースではありません）、すべてがソリューションの特定のメーカーに依存します。



更新されたXeonには、致命的な障害が発生してもシステムをクラッシュさせないフォールトトレラントプロセッサが搭載されていました。



：はい、これはコード名Nehalem-EXのXeon 7500シリーズです。 このファミリのプロセッサのアプリケーションの1つは、ミッションクリティカルなアプリケーションと呼ばれるものです。



ミッションクリティカルなソリューションの例はありますか？



：課金システムは古典的な例と呼ぶことができます。 たとえば、モバイルオペレーターの請求を考えてみましょう。ご存知のように、ローミングサービスのコストに関してオペレーター間でデータを交換する技術はやや不完全です。したがって、個々のオペレーターの請求システムが落ちた場合、そのようなデータはどこにも行かず、会社はお金を失うことになります。 私は問題の規模を推測することしかできませんが、そのようなシステムの1時間のダウンタイムは数十万ドルの損失を意味する可能性があります。



：ところで、Xeon 7500プラットフォームは、ミッションクリティカルなだけでなく、Xeon 7400に基づいて構築された以前のプラットフォームと比較して、Xeon 7500の同数のプロセッサのメモリ帯域幅が8倍増加したため、HPCアプリケーションにとっても興味深い。



しかし、これは多くのHPCシステムのボトルネックですか？



：はい、HPCアプリケーションの場合、処理されるデータの量が膨大であるため、メモリパフォーマンスは非常に重要です。したがって、メモリ帯域幅の8倍の増加は、アプリケーションパフォーマンスに非常に良い影響を与えます。



HPCソリューションを適用するための多くの垂直市場があります：化学産業、バイオインフォマティクス、金融、石油およびガスなど。 いくつかの業種の中には、Xeon 7500のようなプラットフォームを使用する代替手段がない領域があります。 ここでの例は、製造部門のいくつかのタスク、空力特性または気体力学的特性、流体の流れなどのモデリングです。 原則として、グリッドを作成しても、複数のノードのクラスターには並列化されません。 原則として、十分な量のメモリを備えた1つのシステム（1台のサーバーで最大テラバイトのメモリ）を使用するのが最も効率的です。 この場合、グリッドを作成するには、モデルに応じて、計算時間自体に数時間から数日かかる場合があります。 したがって、この作業の過程でサーバーに障害が発生すると、ディスクがクラッシュし、メモリモジュールがクラッシュし、何かが発生しただけで、すべての作業を再開する必要があります。 このような場合、他のインジケーター（たとえば、すべて同じメモリサイズ）と共に、フォールトトレランスプロパティの組み合わせが必要です。



フォールトトレラントシステムが使用されるもう1つの分野は、かなり長い間いくつかのモデリングパッケージが記述されている化学産業です。 これらのソフトウェア製品は20〜25年前のものです。 これらは過去数十年にわたってテストされ、テストされており、多数の証明書を持っているため、ビジネス基準に従って変更することは非常に困難です。 GAUSSIANなどのパッケージは最大32コアを効果的に使用し、ほとんどのモデルで32コアを超えるとパフォーマンスは向上しませんが、大量のメモリ（テラバイト）を必要とし、モデルの計算時間は数日または数十日続きます。



公に話せる例の1つは、ドイツの化学会社BASFの場合です。 彼らは、アプリケーションの開始から結果の受信まで数日間停止することなく、同じサーバー上で動作するソフトウェアパッケージを持っていました。 したがって、これら1か月半の間に停止すると、新たに作業を開始する必要があったという事実に至りました。 BASFと私はソフトウェアを最適化するための対策を講じ、カウント時間を約1日に短縮しましたが、全負荷で稼働しているサーバーの場合でも、これはかなりストレスの多い動作モードであるため、このようなシステムのすべてのコンポーネントはフォールトトレラントであり、エラーを処理し、自己修復する必要があります。



アプリケーションは、多数のコアに適切に拡張できませんでしたか？



：はい、彼らはクラスターに拡張されないアプリケーションを持っていました。なぜなら、I / Oを非常に多く使用し、数十テラバイトのデータをファイルシステムに読み書きしたからです。 ノード間でこれらの操作を並列化することは非常に非効率的であったため、実際には作業は非常に大きなファイルシステムを持つ1つのノードに制限されていました。 ディスクから数百ギガバイトを読み取るサイクル、その処理、ライトバックサイクル。 このデータ処理プロセスは、システムが目的の結果になるまで数日間続きました。



また、HPCではソリッドステートドライブ（SSD）がどのように使用されますか？



：SSDにはいくつかの利点があります。まず、I / O操作の数が多いことです。HPCには実際にアクティブなI / Oを使用するアプリケーションがたくさんあるため、これは重要です。BASFの例がここに示されています。 他の多くの分野では、同じ状況で、実際のアプリケーションは大量のデータを使用します。 これらの大量のデータは、物理実験またはワークステーションでのシミュレーション方法のいずれかによって作成され、ソフトウェアパッケージで処理されます。



SSDは、情報ストレージのビットあたりの価格で、SSDが通常のディスクよりもまだ高価であるため、データストレージの問題を解決するための効果的な方法であるとは限りません。 ただし、多くのHPCアプリケーションは、SSDを使用することでパフォーマンスが大幅に向上します。 NASTRANのようなアプリケーションにこのような使用例がありました。そのようなアプリケーションは構造力学に従事しています。 NASTRANは、さまざまな種類の機械的変形に対する構造的安定性を分析するためのソフトウェアパッケージです。 NehalemプラットフォームでSSDを使用すると、パフォーマンスが約20％向上しました。これはすべて、プロセッサを変更することなく、SSDのおかげです。



SSDのより広範なアプリケーションについて話すと、LustreやGPFSなど、ファイルやディレクトリに関する情報を保存するためのメタデータサーバー上の並列ファイルシステムで積極的に使用されています。 原則として、この場合、SSDの品質が使用されるため、かなり多数の小さなディスク操作を効果的に実行できます。 したがって、特定のプロセスが多くのファイルがあるディレクトリを調べると、ファイル属性を要求する膨大な数の操作が発生します。これは、SSDでより効率的に行われる多くの小さなディスクアクセスを意味します。



IntelのHPCプログラムはどのようにアカデミックな世界とつながりますか？



：ロシアのインテルは、HPCのサポートにかなりの努力を注いでいます。 インテルはHPCの民主化における役割を認識しており、高性能コンピューティングを幅広いユーザー層が利用できるようにするという点で、インテルはすでにHPCインフラストラクチャを持っています。



ここでの問題は、HPCの範囲を一般的な産業（石油とガス、気象モデリングなど）を超えて拡大することです 学術分野では、たとえば、テキスト分析や人間の音声分析などの言語学におけるHPCの使用など、そのようなイニシアチブがいくつかあります。 さらに、HPCを適用できる分野を理解するために、さまざまなコンテストを開催しています。 特に、第3回コンペティションは「 不可能な可能性：HPCの実際のアプリケーション 」というタイトルで開催されており、その主な目標は、以前は解決不可能と考えられていた特定のタスクがある科学技術分野でのアプリケーション開発を見つけ、サポートすることです。 今年のコンテストは、RusnanoとSKIFコンソーシアムによって3回目のサポートを受けています。 スーパーコンピューターの150万プロセッサー時間をまともな賞金プールに追加して、勝者がロシアの主要なスーパーコンピューターで適用されたタスクを計算できるようにすることは言うに値します。 そもそも、他のパートナーからの贈り物は除外されないため、著者はインテルから250,000ルーブルを受け取ります。







なぜHPCをやっているのですか？



：私にとって、ハイパフォーマンスコンピューティング（HPC）は、以前は絶対に解決不可能と考えられていた問題を解決できるツールです。 想像してみてください。大型スーパーコンピューターの例を挙げることができます。Top500リストで1位にランクされた大型ジャガースーパーコンピューターは、24時間休むことなく働く60億人にとって47年かかるような操作を毎秒実行します。 これは、科学的な方法を使用して分析的に見つけることができない問題の数値解を見つけることができる巨大な計算能力です。 これらすべての計算の結果は、人々の生活の質を改善することを意味します。新薬の作成と使用、より安全で高速な車の作成、あらゆる種類の材料と製品の安価化です。



読者とどのような質問に興味がありますか？

注意 ：Xeonプロセッサに関する多くの技術的な問題は、Intelの専門家とのオンラインチャットで定期的に議論されています 。 すでにあなたの質問に対する包括的な答えがあるかもしれません。



：さまざまなメーカーのサーバープロセッサ、プラットフォーム、ソリューション、サーバーについてお話できてうれしいです。 ただし、デスクトップPCやラップトップ、Intel vProプロセッサテクノロジーに関連するトピックなど、他のトピックに触れることもできます。



：HPCを使用するためのアイデアは、最も素晴らしいものであっても、私たちにとって非常に重要です。 90年代前半にモスクワ大学の物理学部で学んだとき、私たちはさまざまな問題を解決するための数学的方法に従事していました。 , , . , , . , , , HPC , 20 . .



, , Intel Labs , «» Rule , .

!

— Yusuke Kamiyamane



.