この投稿では、例としてインテル®MPIライブラリーを使用して、MPIを使用したデータ交換の編成について説明します。 この情報は、実際に並列高性能コンピューティングの分野に精通したい人にとって興味深いものになると思います。



並列MPIベースのアプリケーションでデータ交換がどのように編成されるかについての簡単な説明と、より詳細な説明を含む外部ソースへのリンクを提供します。 実用的な部分では、デモMPIアプリケーション「Hello World」の開発のすべての段階について説明します。必要な環境のセットアップからプログラム自体の起動までです。

MPI（メッセージパッシングインターフェイス）

MPIは、単一のタスクを実行するプロセス間のメッセージパッシングインターフェイスです。 OpenMPなどとは異なり、主に分散メモリシステム（ MPP ）を対象としています。 原則として、分散（クラスター）システムは、高性能通信チャネル（たとえば、 InfiniBand ）で接続された一連のコンピューティングノードです。



MPIは、並列プログラミングで最も一般的なデータ転送インターフェイス標準です。 MPIはMPIフォーラムを 標準化しています。 最新のプラットフォーム、オペレーティングシステム、および言語のほとんどにMPI実装があります。 MPIは、計算物理学、医薬品、材料科学、遺伝学、その他の知識分野のさまざまな問題の解決に広く使用されています。



MPIの観点から見た並列プログラムは、異なるコンピューティングノードで実行される一連のプロセスです。 各プロセスは、同じプログラムコードに基づいて生成されます。



MPIの主な操作は、メッセージの受け渡しです。 MPIは、ほぼすべての基本的な通信テンプレート（ポイントツーポイント、集合、および片面）を実装しています。

MPIを使用する

典型的なMPIプログラムがどのように機能するかの実例を見て​​みましょう。 デモアプリケーションとして、Intel MPIライブラリに付属しているサンプルのソースコードを見てみましょう。 最初のMPIプログラムを開始する前に、実験用の作業環境を準備して設定する必要があります。

クラスター環境のセットアップ

実験には、いくつかの計算ノードが必要です（同様の特性を持つことが望ましい）。 2つのサーバーが手元にない場合は、いつでもクラウドサービスを使用できます。



デモンストレーションのために、 Amazon Elastic Compute Cloud （Amazon EC2）を選択しました。 Amazonは新規ユーザーに無料のエントリーレベルのサーバー使用の試用年を提供します 。



Amazon EC2の操作は直感的です。 質問がある場合は、詳細なドキュメント （英語）を参照できます。 必要に応じて、他の同様のサービスを使用できます。



2つの動作する仮想サーバーを作成します。 管理コンソールで、クラウド内のEC2仮想サーバーを選択し、 インスタンスを起動します（「インスタンス」は仮想サーバーのインスタンスを意味します）。



次のステップは、オペレーティングシステムの選択です。 Intel MPI Libraryは、LinuxとWindowsの両方をサポートしています。 MPIの最初の知り合いには、OC Linuxを選択します。 Red Hat Enterprise Linux 6.6 64-bitまたはSLES11.3 / 12.0を選択します。

[ インスタンスタイプ] （サーバータイプ）を選択します。 実験には、t2.microが適しています（1 vCPU、2.5 GHz、Intel Xeonプロセッサフ​​ァミリ、1 GiB RAM）。 最近登録したユーザーとして、このタイプを無料で使用できます-「無料利用枠」マーク。 インスタンス数の設定：2（仮想サーバーの数）。



サービスがインスタンスの起動 （設定済みの仮想サーバー）を起動するように要求した後、外部から仮想サーバーと通信するために必要なSSHキーを保存します。 仮想サーバーの状態とローカルコンピューターのサーバーと通信するためのIPアドレスは、管理コンソールで監視できます。



重要なポイント： Network＆Security / Security Groupsの設定で、TCP接続用のポートを開くルールを作成する必要があります-これはMPIプロセスマネージャーに必要です。 ルールは次のようになります。

タイプ：カスタムTCPルール

プロトコル：TCP

ポート範囲：1024-65535

ソース：0.0.0.0/0

セキュリティ上の理由から、より厳密なルールを設定できますが、デモではこれで十分です。



ここでは、ローカルコンピューターから英語の仮想サーバーに接続する方法の説明を読むことができます（英語）。

Windowsコンピューターから実稼働サーバーと通信するにはPuttyを使用し、ファイルを転送するにはWinSCPを使用しました。 ここでは、Amazonサービスで動作するようにそれらを構成する方法に関する指示を読むことができます（英語）。



次のステップは、SSHを構成することです。 公開鍵認証を使用してパスワードなしのSSHを構成するには、次の手順を実行する必要があります。

1. 各ホストでssh-keygenユーティリティを実行します-$ HOME / .sshディレクトリに秘密鍵と公開鍵のペアを作成します。
2. 1つのサーバーから公開鍵（拡張子.pubのファイル）の内容を取得し、それを別のサーバーのファイル$ HOME / .ssh / authorized_keysに追加します。
3. 両方のサーバーに対してこの手順を実行します。
4. SSH設定の正確性を確認するために、SSHを介して1つのサーバーから別のサーバーに、またはその逆に参加してみましょう。 最初の接続で、リモートホストの公開キーをリスト$ HOME / .ssh / known_hostsに追加する必要がある場合があります。

MPIライブラリの構成

これで、作業環境が構成されました。 MPIをインストールする時間。

デモオプションとして、30日間のインテルMPIライブラリの試用版（約300 MB）を使用してみましょう。 必要に応じて、他のMPI実装、たとえばMPICHを使用できます。 記事5.0.3.048を書いている時点で入手可能な最新バージョンのインテルMPIライブラリー。これを実験に使用します。



組み込みインストーラーの指示に従ってインテルMPIライブラリーをインストールします（スーパーユーザー特権が必要な場合があります）。

$ tar xvfz l_mpi_p_5.0.3.048.tgz

$ cd l_mpi_p_5.0.3.048

$ ./install.sh

両方のノードで同じインストールパスを使用して、各ホストでインストールを実行します。 MPIを展開するより標準的な方法は、各作業ノードで利用可能なネットワークストレージにインストールすることですが、そのようなストレージのセットアップの説明は記事の範囲を超えているため、より単純なオプションに制限します。



MPIデモプログラムをコンパイルするには、GNU Cコンパイラ（gcc）を使用します。

Amazonは、RHELプログラムの標準セットにイメージがないため、インストールする必要があります。

$ sudo yum install gcc

デモMPIプログラムとして、Intel MPI Libraryサンプルの標準セットからtest.cを取得します（intel / impi / 5.0.3.048 / testフォルダーにあります）。

コンパイルするための最初のステップは、インテル®MPIライブラリー環境を公開することです。

$。 /home/ec2-user/intel/impi/5.0.3.048/intel64/bin/mpivars.sh

次に、インテル®MPIライブラリーのスクリプトを使用してテストプログラムをコンパイルします（必要なMPI依存関係はすべて、コンパイル時に自動的に設定されます）。

$ cd /home/ec2-user/intel/impi/5.0.3.048/test

$ mpicc -o test.exe ./test.c

結果のtest.exeが2番目のノードにコピーされます。

$ scp test.exe ip-172-31-47-24：/home/ec2-user/intel/impi/5.0.3.048/test/

MPIプログラムを開始する前に、「hostname」などの標準的なLinuxユーティリティを試してみると便利です。

$ mpirun -ppn 1 -n 2 -hosts ip-172-31-47-25、ip-172-31-47-24ホスト名

ip-172-31-47-25

ip-172-31-47-24

「mpirun」ユーティリティは、MPIアプリケーションを実行するために設計されたIntel MPIライブラリのプログラムです。 これは一種の「ランチャー」です。 引数にリストされている各ノードでMPIプログラムのインスタンスを起動するのは、このプログラムです。



オプションに関しては、「-ppn」は各ノードで開始するプロセスの数、「-n」は開始するプロセスの合計数、「-hosts」は指定したアプリケーションが起動するノードのリスト、最後の引数は実行可能ファイルへのパスです（これはおよびMPIのないアプリケーション）。



この例では、ホスト名ユーティリティを実行するときに、両方の仮想サーバーからその出力（コンピューティングノードの名前）を取得する必要があり、MPIプロセスマネージャーは正常に動作していると言えます。

MPIを使用した「Hello World」

デモMPIアプリケーションとして、インテルMPIライブラリのサンプルの標準セットからtest.cを取得しました。



デモMPIアプリケーションは、各並列MPIプロセスからプロセスとそれが実行されているコンピューティングノードに関する情報を収集し、この情報をヘッドノードに出力します。



典型的なMPIプログラムの主要なコンポーネントをさらに詳しく考えてみましょう。

#include "mpi.h"
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

基本的なMPI関数と定数の宣言を含むmpi.hヘッダーファイルが含まれています。

インテル®MPIライブラリーの特別なスクリプト（mpicc、mpiiccなど）を使用してアプリケーションをコンパイルすると、mpi.hへのパスが自動的に書き込まれます。 そうでない場合、コンパイル時にインクルードフォルダーへのパスを指定する必要があります。

 MPI_Init (&argc, &argv); ... MPI_Finalize ();
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

MPIプログラムの実行環境を初期化するには、MPI_Init（）の呼び出しが必要です。 この呼び出しの後、残りのMPI関数を使用できます。

MPIプログラムの最後の呼び出しはMPI_Finalize（）です。 MPIプログラムが正常に完了すると、起動された各MPIプロセスはMPI_Finalize（）呼び出しを行い、内部のMPIリソースが消去されます。 MPI_Finalize（）の後にMPI関数を呼び出すことは許可されていません。



MPIプログラムの残りの部分を説明するには、MPIプログラミングで使用される基本的な用語を考慮する必要があります。



MPIプログラムは、さまざまなMPI関数を介して互いにメッセージを送信できるプロセスのセットです。 各プロセスには特別な識別子-ランクがあります。 プロセスランクは、MPIメッセージを送信するさまざまな操作で使用できます。たとえば、ランクはメッセージ受信者の識別子として指定できます。



さらに、MPIには、プロセスのグループを記述するコミュニケーターと呼ばれる特別なオブジェクトがあります。 単一のコミュニケーター内の各プロセスには、一意のランクがあります。 同じプロセスが異なるコミュニケーターに関連する可能性があるため、異なるコミュニケーター内で異なるランクを持つことができます。 データをMPIに送信する各操作は、コミュニケーターのフレームワーク内で実行する必要があります。 デフォルトでは、使用可能なすべてのプロセスを含むコミュニケーターMPI_COMM_WORLDが常に作成されます。



test.cに戻る：

 MPI_Comm_size (MPI_COMM_WORLD, &size); MPI_Comm_rank (MPI_COMM_WORLD, &rank);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

MPI_Comm_size（）呼び出しは、現在のMPI_COMM_WORLDコミュニケーターの変数サイズ（サイズ）（mpirunオプション '-n'で指定したプロセスの総数）に書き込みます。

MPI_Comm_rank（）は、コミュニケーターMPI_COMM_WORLD内の現在のMPIプロセスの変数ランク（ランク）に書き込みます。

 MPI_Get_processor_name (name, &namelen);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

MPI_Get_processor_name（）を呼び出すと、対応するプロセスが起動されたコンピューティングノードの文字列識別子（名前）が変数名に書き込まれます。



収集された情報（プロセスランク、ディメンションMPI_COMM_WORLD、プロセッサ名）は、MPI_Send（）関数を使用して、すべての非ゼロランクからゼロに送信されます。

 MPI_Send (&rank, 1, MPI_INT, 0, 1, MPI_COMM_WORLD); MPI_Send (&size, 1, MPI_INT, 0, 1, MPI_COMM_WORLD); MPI_Send (&namelen, 1, MPI_INT, 0, 1, MPI_COMM_WORLD); MPI_Send (name, namelen + 1, MPI_CHAR, 0, 1, MPI_COMM_WORLD);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

MPI_Send（）関数の形式は次のとおりです。

MPI_Send（buf、count、type、dest、tag、comm）

buf-送信データが配置されているメモリバッファのアドレス。

count-メッセージ内のデータ要素の数。

type-転送されたメッセージのデータ要素のタイプ。

dest-メッセージ受信者のプロセスのランク。

tag-メッセージを識別するための特別なタグ。

comm-メッセージが送信されるコミュニケーター。

MPI_Send（）関数とその引数、およびその他のMPI関数のより詳細な説明は、 MPI標準にあります （ドキュメントの言語は英語です）。



ランク0では、他のランクから送信されたメッセージが受信され、画面に出力されます。

 printf ("Hello world: rank %d of %d running on %s\n", rank, size, name); for (i = 1; i < size; i++) { MPI_Recv (&rank, 1, MPI_INT, i, 1, MPI_COMM_WORLD, &stat); MPI_Recv (&size, 1, MPI_INT, i, 1, MPI_COMM_WORLD, &stat); MPI_Recv (&namelen, 1, MPI_INT, i, 1, MPI_COMM_WORLD, &stat); MPI_Recv (name, namelen + 1, MPI_CHAR, i, 1, MPI_COMM_WORLD, &stat); printf ("Hello world: rank %d of %d running on %s\n", rank, size, name); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

明確にするために、ゼロランクはさらに、リモートランクから受信したデータのようにデータを印刷します。



MPI_Recv（）関数の形式は次のとおりです。

MPI_Recv（buf、count、type、source、tag、comm、status）

buf、count、type-メッセージを受信するためのメモリバッファ。

source-メッセージを受信するプロセスのランク。

tag-受信したメッセージのタグ。

comm-データを受信するフレームワーク内のコミュニケーター。

status-データ受信操作の結果に関する情報を含む特別なMPIデータ構造へのポインター。

この記事では、MPI_Send（）/ MPI_Recv（）関数の複雑さについては掘り下げません。 さまざまなタイプのMPI操作とそれらの作業の複雑さの説明は、別の記事のトピックです。 プログラムのゼロランクは、最初のランクから始まり、増加する（1からサイズまで変化するMPI_Recv（）関数のソースフィールドによって決定される）厳密に特定の順序で他のプロセスからメッセージを受信することに注意してください。



説明されている関数MPI_Send（）/ MPI_Recv（）は、いわゆるポイントツーポイントMPI操作の例です。 このような操作では、特定のコミュニケーターのフレームワーク内で、あるランクが別のランクとメッセージを交換します。 3つ以上のランクがデータ交換に参加できる集合的なMPI操作もあります。 集合的なMPI操作は、別の（および場合によっては複数の）記事のトピックです。



デモMPIプログラムの結果、以下が得られます。

$ mpirun -ppn 1 -n 2 -hosts ip-172-31-47-25、ip-172-31-47-24 /home/ec2-user/intel/impi/5.0.3.048/test/test.exe

Hello World：IP-172-31-47-25で実行されているランク0の2

Hello World：IP-172-31-47-24で実行されている2つのランク1

この投稿で言われたことに興味があり、MPIテクノロジーの開発に参加したいと思いますか？ インテルMPIライブラリ開発チーム（ニジニノヴゴロド）は現在、積極的にアソシエイトエンジニアを募集しています。 詳細については、 Intelの公式 WebサイトおよびBrainStorage Webサイトを参照してください。



そして最後に、高性能コンピューティングに関する将来の出版物の可能性のあるトピックに関する小さな投票。