ちょうど複雑な：エンジニアリングと研究のための高性能コンピューティング

庭を掘るには何が必要ですか？ 庭がある場合は、作業ツールと労働力（労働者）が必要です。 そして、もっと速く掘る必要がある場合はどうしますか？ 友達に電話したり、他の人を雇う、つまり従業員の数を増やすことができます。 これは、庭の高性能掘削の例です。 個々の従業員の生産性は限られているため、強力な労働者を探して庭を掘る生産性を上げることは常に可能とは限りません。 したがって、より多くの労働者のサービスに頼る必要があります。



同様に、高性能コンピューティングの場合。 ワーカー（eng。Workers）は、MATLABパッケージ（英語のMATLAB）の用語に基づいて、コンピューティングクラスター内の個々のコンピューターおよびプロセッサコアと呼ばれます。 他のクラスターのドキュメントでは、これらのカーネルとコンピューターはノード（英語のノード）と呼ばれ、このノートではそれらを呼び出します。

ちょうど複雑な：エンジニアリングと研究のための高性能コンピューティング

はじめに

Habrahabrはすでに、高性能な分散コンピューティング（BB）について多くのことを書いています。 freetonikはすでに並列コンピューティングの詳細かつ明確な紹介を行っており、BBはここでkelegによって検討され、分散コンピューティングの理論は mkosyakovのノートで開示され、 Melges はCでのネットワーク上の並列コンピューティングの経験を説明し、 XakepRU はLinux それらを再読した後、私は爆発物を使用して工学的および科学的問題を解決するのに役立つノートはないことに気付きました。 これは、このトピックに関する多くの情報源の一般的な機能です。 プログラマーは、割り当てられたタスクを実行する優れたプログラムを作成します。 大学教授は、高性能コンピューティングが価値がある方法と理由を説明します。 しかし、研究者が爆発物を使用する時期であることに気づくとすぐに、爆発物の理解と爆発物システムの直接的な使用を仕事で結び付ける少数の「橋」に直面します。 大学では、学生は実験室や実習でそのような「橋」を見つけることができます。 そして、この資料がまだ勉強していない人にとって有用であり、BBの使用を開始するのに役立つことを期待して、このギャップを埋めようとします。 最初に爆発物の簡単な紹介があり、その後、MATLAB、HPCondorスーパーコンピューターを使用する可能性が考慮されます。



高パフォーマンスコンピューティング（BB）は、計算時間を短縮したり、より多くのメモリにアクセスしたりする必要がある場合に役立ちます。 たとえば、プログラムは1週間以内に必要な計算を実行できますが、明日結果を取得する必要があります。 このプログラムを部分に分割し、それぞれを別々のノードで実行すると、理論的には、関係するノードの数に比例して計算を高速化できます。 しかし、これは理論的にのみですが、実際には、何かが常にこれに干渉します（詳細はここで説明しました ）。 ここで、プログラムが大量のRAMを必要とする別のケースに言及する価値があります。 たとえば、コンピューターには4 GBのRAMしかインストールされていませんが、計算には少なくとも64 GBが必要です。 BBシステムでは、特定の容量のメモリが各ノードにインストールされます。 したがって、各ノードで2 GBのメモリが使用可能な場合、プログラムを32の部分に分割し、それぞれを別々のノードで実行し、他の部分とやり取りし、データを交換し、最終的にプログラム全体が64にアクセスできるようにしますGBのメモリ。



これらの例から、おそらく高性能コンピューティングは、従来のコンピューターをはるかに超える仕様を持つコンピューターシステムで実行されるコンピューティングであることがわかりました。 この概念は条件付きであり、おそらくより正確な定義があるかもしれませんが、私はそれを見つけることができませんでした。 並列の分散爆薬とその組み合わせがあります。



並列コンピューティングには、実行中に複数の並列で相互作用するプロセスであるプログラムの開発が含まれます。 たとえば、太陽電池セルの特性のモデリングには、キャリア輸送、セル内の入射光の伝播、温度効果、張力圧縮を記述する3つのモデルの相互作用が含まれます。 したがって、キャリア輸送、張力圧縮、および入射光の光学モデルで使用される材料の屈折率は温度に依存し、これらの効果を説明するモデルは計算プロセスで相互作用する必要があります。 計算を高速化するために、1つのノードでのキャリアの輸送を記述するモデルのコード、他のノードでの光の伝播を担当するコード、3番目のノードでの温度モデルなどを実行できます。 つまり、ノードは相互作用する計算を並行して実行します。



分散コンピューティングでは、相互作用しない複数のノードとプロセスを使用します。 この場合、非常に多くの場合、同じコードが異なるノードで実行されます。 たとえば、太陽電池の同じセルの伸びと圧縮を温度の関数として評価する必要があります。 この場合、温度はモデルの入力パラメーターであり、このモデルの同じプログラムコードを異なる温度値の異なるノードで実行できます。



分散計算と並列計算のどちらを選択するかは、計算に使用するプログラムコードの構成、物理モデル自体、およびエンドユーザーの爆発性システムの可用性によって異なります。 この記事の後半について

• エンドユーザーがBBシステムと対話する方法。
• 使用可能な爆発性システムとその制限は何ですか？
• CondorソフトウェアとMATLABを使用して構築されたクラスターについて（作成者がそれらを使用した経験があるため、選択はそれらにかかった）。
• スーパーコンピューターとグリッドについて少し。
• そして、どのようにこのすべての経済を使用できるか。

高性能コンピューティングとのユーザーインタラクション

ユーザーがBBシステムをリモートで使用する場合、次のことを行うコンピューターが必要です。

• 爆発性システムで起動するためのプログラムを準備します。
• BBシステムで計算を実行するか、BBシステムに接続してプログラムを実行します。
• 彼は計算の結果を処理します。

ここでの多くは、ユーザーの個人的な好み、必要なソフトウェアの可用性、およびその他の要件に依存します。 プログラミング言語、稼働中のコンピューターとクラスターのオペレーティングシステム、クラスターの編成に使用するソフトウェアライブラリとソフトウェアを選択できます。 個人的に、私は常にMPIとopenMP for Linuxを使用してCまたはC ++でプログラムを作成しようとします（ こことここでは、これらの高性能コンピューティングのパパとママの主題に関する良い記事がすでにあります）が、さまざまな理由でこれが常に機能するとは限りません。 典型的な状況-上司は金曜日に来て、私たちは緊急に結果が必要だと言います。 最後に、必要な計算用のプログラムをMATLABで作成します。 また、結果をより速く取得するために、このプログラムは月曜日まで組織のMATLABクラスターで実行されます。



ユーザーの作業コンピューターのオペレーティングシステムに関しては、ほとんどの場合、BBシステムにインストールされている同じオペレーティングシステムとその配布キットを使用するのが最も便利です。 現在、ほとんどのBBシステムはさまざまなLinuxディストリビューションを実行しています。 Scientific Linuxがクラスターにインストールされている場合、同じシステムを稼働中のコンピューターにインストールする方が簡単です。これにより、今後コマンドと混同されることがなくなります。 MATLABベースのクラスターを使用する場合、オペレーティングシステムの選択は重要ではありません。MATLABで記述されたプログラムは、任意のOS（もちろん、MATLABのインストールに使用可能）を搭載したコンピューターで実行できます。



MS WindowsファミリーOSがコンピューターにインストールされており、BBシステムがLinux OS上に構築されている混合スキームを選択した場合、リモートシステム（PuTTYなど）に接続するクライアントと、XサーバーまたはすぐにCygwinになります。 ローカルソフトウェア管理者は、ソフトウェアの選択を常に支援します。



重要な点：BBシステムは通常、インタラクティブな作業（実行中にデータ入力を要求し、キーストロークやマウス操作などの他のユーザーアクションを待つ）を必要とするプログラムをサポートしないか、限定的にサポートします。 同様に、グラフィカルインターフェイスに関しては、ほとんどの場合、その使用は提供されておらず、BBシステムはコマンドラインからテキストモードで使用されます（例外は同じMATLABです）。 BBシステムでプログラムを使用する前に、それをデバッグしてから変換し、BBシステムで実行できるように変換し、さらに人間の介入なしに計算を実行し、結果をファイルに保存するか、別の方法でユーザーに転送する必要があります。



主な計算はまだBBシステムで実行される予定であるため、ユーザーのコンピューターパフォーマンスの要件は最小限です。 計算のステータスを監視し、最小構成のコンピューターと携帯電話から計算を開始および中断できます。

一部のBBシステム

一般的なレビュー

ほとんどの場合、スーパーコンピューター、コンピュータークラスター、およびグリッドが爆発物に使用されます。

スーパーコンピューターは、パフォーマンス、使用可能なRAM、使用可能なプロセッサー数などのパラメーターの点で、既存のコンピューターのほとんどを大幅に超えるコンピューターシステムです。 それらの詳細については、世界で最も生産性の高い500台のスーパーコンピューターのリストを参照できます。



コンピュータークラスターは、利用可能なメモリと作業に関与するプロセッサーの数を増やすために相互に対話できるコンピューターのグループです。 ほとんどの場合、このようなクラスターは研究グループまたは組織内に構築されます。



グリッドは、さまざまな都市や国に散在するクラスターとスーパーコンピューターのグループです。 たとえば、計算タスクをスイスのサーバーに転送できますが、ドイツ、フランス、またはポーランドのクラスターで実行されます。 グリッドの最も有名な例は、ヨーロッパのEGEEグリッドシステムです。これは、約4万のプロセッサと数ペタバイトのディスクスペースを組み合わせたものです。



エンドユーザーがスーパーコンピューターとクラスターを区別することは、しばしば困難または不可能です。 以下に3つの例を示します。



1.スーパーコンピューターが、高速通信ネットワークを介して互いに接続されたコンピューターのグループと呼ばれることは珍しくありません。これは、本質的に同じコンピューターのクラスターです。



2.同時に、HPCondorソフトウェアに基づいて構築されたクラスターがあります。これは、ローカルネットワーク（多くの場合低速ネットワーク）上のサーバーと対話するコンピューターのグループでもあり、そのようなクラスターをスーパーコンピューターと呼ぶ勇気はありません。



3.コンピューティングシステム全体がネットワーク全体に散在せず、このシステムユニットに収まるNVIDIAスーパーコンピューター（通常のオフィスコンピューターよりも大きなシステムユニットを持っている）があります。



例2と例3をとると、スーパーコンピューターとクラスターの違いは明らかです。 最初と3番目では、特別なファセットは表示されません。この2つの例の両方のシステムは、スーパーコンピューターと呼ばれます。

HPCondorクラスター（Condor、2012年以降-HTCondor）

このようなクラスターを編成するためのソフトウェアは、プロジェクトページから無料でダウンロードできます 。 このタイプのクラスターは、作業コンピューターとサーバーで構成されます。 Dunordavindは、コメントに対して重要な明確化を行いました。そのようなBBシステムは、古典的な意味でのクラスターではなく、リソースマネージャーです（ただし、テキスト全体を書き換えないために、とにかくクラスターと呼びます）。 このようなクラスターの利点は、クライアントソフトウェアがインストールされている通常のオフィスや研究室のコンピューターが作業コンピューターとして機能できることです。 昼間、これらのコンピューターは基本的な作業に使用できますが、使用をやめると（設定によって異なります）、サーバーはこれらのコンピューターで以前に転送されたタスクの実行を開始します。 このクラスターを使用するための前提条件は、ユーザーがタスクを転送するコンピューターにクライアントソフトウェアをインストールすることです。 つまり、それらのコンピューターはクラスターの一部でなければなりません。 サポートされているオペレーティングシステム：MS Windows、MacOS、Linux。



プログラムを実行するには、このプログラムを目的のOSの実行可能コードにコンパイルし、必要なライブラリとともにサーバーに転送する必要があります。 これは、MATLAB用に作成されたプログラムにも適用されます。MATLABに付属のCコンパイラを使用してコンパイルする必要もあります。 このプログラムをクラスターで実行するには、プログラムのランタイムの要件（RAMサイズ、オペレーティングシステムなど）およびこのプログラムで転送されるファイルのリストを書き留める簡単な構成スクリプトを作成する必要があります。 例として、これらのファイルの1つからのテキストを以下に示します（cost_top.txtと呼びましょう）：

universe = vanilla executable = cost_top.bat transfer_input_files = cost_top.exe output = dump.txt error = errdump.txt log = foo.log requirements = (OpSys == "WINNT51") rank = kflops transfer_files = ALWAYS queue
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このファイルは、実行可能プログラムの名前、クラスタに転送するファイル、プログラムの結果を書き込むファイル、エラーメッセージ、追加メッセージなどの重要なポイントを「説明」するものです。ノードのOSとそのパフォーマンス、およびファイルを転送するかどうかによって提示される要件です。



ノードで実行されるcost_top.batファイルの内容：

 path=c:\windows\system32;c:\windows;c:\windows\system;p:\matlab6\bin\win32 cost_top.exe
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ほとんどの場合、このスクリプトの最初の行は必要なパスを環境変数に追加し、2番目の行は必要なプログラムを起動することを理解するでしょう。



タスクをクラスターサーバーに転送するには、コマンドラインで「condor_submit cost_top.txt」と入力する必要があります。 その後、タスクはキューに入れられ、しばらくするとサーバーはクライアントコンピューターでタスクを実行する準備が整います。 キューでの待機時間は、各ユーザーの優先順位とクラスターの負荷に依存し、サーバータスクバランシングシステムによって選択されます。



このタイプのクラスターには制限があります。

• タスクがキューに入れられてから計算が終了するまで、サーバーとクライアントはファイルを交換するため、クライアントコンピューターの電源を入れてローカルネットワークに接続する必要があります。
• このクラスターは、分散爆発タスクのみをサポートします。
• サードパーティのプログラム（自分で作成してコピーしたものを除く）および多くのライブラリを必要とするプログラムを使用するのは困難です。

MATLABクラスター

MATLAB自体がクラスターを作成できます 。 これを行うには、適切なライブラリとサーバー（Distributed Computing ToolboxとDistributed Computing Server）が必要です。 現在、最新のコンピュータープロセッサには複数のコアがあり、MATLABは使用中のコンピューターに基づいて独自のローカルクラスターを直接展開できます。 このクラスター構成は、ローカル構成と呼ばれます。 スーパーコンピューターやクラスターなどのより深刻なBBシステムでプログラムを開始する前にプログラムをテストする必要がある場合など、それほど労力をかけずに計算を少しスピードアップしたい場合に便利です。



ローカル構成に加えて、他の構成があります。 たとえば、ローカルネットワーク内のコンピューターのグループを結合するクラスターの場合、クラスターまたはグリッド内のコンピューターのグループ。 管理者に機会があり、怠け者でない場合、通常、MATLABクラスターをセットアップし、ユーザーがそのようなクラスターを簡単に使用できるようにトレーニングコースを実施します。



MATLABクラスターの利点：

• 計算のタスクの転送元のクライアントコンピューターは、タスクの転送後にオフにすることができ、ユーザーは後で計算結果を取得できます。
• 分散コンピューティングと並列コンピューティングの両方のタスクを実行できます。
• プログラミング言語はすでに馴染みがあるため、MATLABユーザーはこのようなクラスターの使用を簡単に開始できます。
• プログラムはコンパイルを必要としません。
• 「for」サイクルの演算子が既に存在する並列計算へのプログラムの適応は非常に簡単です-そのような演算子を「parfor」に置き換え、クラスターを初期化して作業終了後にクラスターを閉じるために数行を追加するだけです。

たとえば、parforを使用しないコード：

 clear all; Na=4:50; Nc=4:30; for i1=1:length(Na), for i2=1:length(Nc), [out1,out2]=fom(Na(i1),Na(i1),Nc(i2),0) ; end end save FigOM.dat FigOM -ascii save dF.dat dF -ascii exit
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そして今、parforと4つのノードを使用した同じこと：

 clear all; matlabpool open 4 Na=4:50; Nc=4:30; for i1=1:length(Na), parfor i2=1:length(Nc), [out1,out2]=fom(Na(i1),Na(i1),Nc(i2),0) end end matlabpool close save FigOM.dat FigOM -ascii save dF.dat dF -ascii exit
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

短所：

• MATLABは無料の製品ではなく、一部のユーザーにとっては手頃な価格ではありません。
• クラスターソフトウェアには負荷分散プログラムが付属していないため（個別にインストールできます）、一部のユーザーがすべてのクラスターノードを占有し、他のユーザーのアクセスをブロックする場合があります。

スーパーコンピューターとグリッド

前述のように、スーパーコンピューター、コンピューティングクラスター、グリッドの違いを見つけるのは難しい場合があります。 ターミナルウィンドウのこちら側からは、すべて同じように見えます。 それらはすべて、BBシステムに多数のプロセッサとメモリを備えています。 インストールされたソフトウェアの中には、コンパイラとMPIおよびOpenMPライブラリがあります。 ノードとそのメモリのグループの使用をサポートするMATLABおよびその他のプログラムがインストールされる場合があります。



最も一般的な操作アルゴリズムは次のとおりです。

• ユーザーは、コマンドの一部を対話的に実行したり、計算を制御したりできる特別なノード（英語のログインノード）に（通常SSH経由で）接続します。
• gccコンパイラーやMPIライブラリーなど、特定のタスクを実行するために必要なモジュールをロードします。
• 必要に応じて、必要なライブラリをサポートしてプログラムをコンパイルします。
• HPCondorクラスターと同様に、プログラムを実行するための設定ファイルとコマンド（ジョブサブミッションファイル）を準備します。
• コマンド 'qsub file_name'を使用してこの設定とコマンドのファイルを実行するためにキューに転送します。
• プログラムが完了するとすぐに、ユーザーはその実行結果を取得できます（ファイルに保存する方が簡単です）。

設定ファイルはHPCondorクラスターファイルに似ています。 たとえば、parforを使用して上記の例を実行するには、次のファイルを使用できます。

 #!/bin/sh #$ -l h_rt=10:00:00 /usr/local/bin/matlab /home/el/calmap.m
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

2行目はこのタスクを完了するのに必要な最大時間を示し、3行目はユーザーが必要とするMATLABプログラムコードを実行するためにこのシステムで実行する必要があるコマンドを示します。

MPIライブラリを使用するプログラムを実行する別のサンプルファイル：

 #!/bin/bash #$ -l h_rt=4:00:00 #$ -pe mvapich2-ib 12 # LDFLAGS="-L$HOME/opt/lib -lm" export LDFLAGS CPPFLAGS="-I$HOME/opt/include" export CPPFLAGS LD_LIBRARY_PATH="$HOME/opt/lib:$LD_LIBRARY_PATH" export LD_LIBRARY_PATH PATH=$PATH:$HOME/opt/bin export PATH module add compilers/intel/12.1.15 module add mpi/intel/mvapich2/1.8.1 mpirun -np 12 m-mpi test7.ct
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

2行目-計算に必要な最大時間、3行目-並列計算の環境名（管理者が設定）および要求されたノード数スクリプトの最後に-12ノードを使用する目的のプログラムを起動します。

おわりに

広大さを受け入れることは不可能ですが、試すことは可能であり、必要です。 この記事では、初心者ユーザーが機能の範囲を理解し、利用可能なものとその使用方法を理解できるように、高性能コンピューティングシステムの概要を説明しようとしました。 ご覧のとおり、スーパーコンピューターやグリッドにアクセスできない場合でも、MATLABまたは無料のCondorソフトウェアに基づいて独自のクラスターを構築できます。



psこのメモを補足したり、エラーを見つけたりできる場合は、それについて下に書いてください。 最終的に、それは問題の知識と理解にのみ役立ち、これはメモを改善する機会を提供します。

pps CUDAテクノロジーを使用して、GPUコアを作業に含めることでC / C ++およびMATLABでの計算を高速化する可能性はまだありますが、これについて多くのことが書かれています。