SPDK：NVMeディスクを使用した作業の高速化

Storage Performance Developer Kit（ SPDK ）は、高性能でスケーラブルなディスクドライブ指向のアプリケーションの開発を支援するために設計されたオープンソースツールとライブラリのセットです。 この記事では、Linuxユーザー空間で動作するSPDKで利用可能なNVMeドライバーに焦点を当て、IntelプラットフォームでのHello Worldサンプルアプリケーションの実装についても検討します。











実験では、Intel C610チップセット（C1ステッピング、QPIシステムバス、9.6 GT / s）に基づくサーバーを使用し、12コアのIntel Xeon E5-2697プロセッサーがインストールされています（クロック周波数-2.7 GHz、モードで24の論理コア） HT）。 RAM構成-8x8 GB（Samsung M393B1G73BH0 DDR3 1866）。 システムにはIntel SSD DC P3700シリーズがあります。 OSがCentOS 7.2.1511（カーネル3.10.0）を使用したため。

Linuxユーザー空間で実行するNVMeドライバーが必要なのはなぜですか？

歴史的に、ディスクドライブは、RAMやプロセッサなど、コンピューターシステムの他のコンポーネントよりも桁違いに低速です。 つまり、オペレーティングシステムとプロセッサは、割り込みメカニズムを使用してディスクとのやり取りを強制されます。 たとえば、この相互作用のセッションは次のようになります。

1. ディスクからデータを読み取るために、OSに要求が行われます。
2. ドライバーはこの要求を処理し、ハードウェアと通信します。
3. ディスクプレートが回転します。
4. 読み取り/書き込みヘッドがプレートの目的の部分に移動し、データの読み取りを開始する準備をします。
5. データはバッファに読み書きされます。
6. システムでデータを使用する準備ができたことをプロセッサに通知する割り込みが生成されます。
7. そして最後に、データがバッファから読み取られます。

割り込みモデルは、システムに追加の負荷を作成します。 ただし、通常、この負荷は、従来のハードドライブに典型的な遅延よりも大幅に小さくなりました。 その結果、データストレージサブシステムの効率を大幅に低下させることができなかったため、この追加の負荷はあまり注目されませんでした。



最近、SSDと3D XPointストレージなどの次世代テクノロジーは、従来のHDDよりも大幅に高速です。 その結果、以前はハードウェアであったデータストレージサブシステムのボトルネックが、ソフトウェアメカニズムの領域に移行しました。 下の図でわかるように、ドライブの応答速度と比較して、ドライブとオペレーティングシステムを操作するプロセスに割り込みがもたらす遅延は非常に大きく見えます。









3D XPointテクノロジーに基づくSSDとストレージシステムは、従来のHDDよりもはるかに高速に動作します。 その結果、ソフトウェアのボトルネックがボトルネックになりました。



Linuxユーザー空間で実行されるNVMeドライバーは、「割り込みの問題」を解決します。 メッセージが操作を完了するのを待つ代わりに、読み取りまたは書き込み中にストレージデバイスをポーリングします。 さらに、これは非常に重要です。NVMeドライバーはユーザー空間内で動作します。 これは、アプリケーションがLinuxカーネルをバイパスしてNVMeデバイスと直接対話できることを意味します。 このアプローチの利点の1つは、コンテキストの切り替えを必要とするシステムコールを取り除くことです。 これにより、システムに追加の負荷がかかります。 NVMeアーキテクチャはブロッキングを提供しません;これは、スレッド間でデータを同期するためにプロセッサメカニズムを使用しないことを目的としています。 同じアプローチがI / Oコマンドの並列実行を提供します。



SPDKのNVMeユーザースペースドライバーとLinuxカーネルアプローチを比較すると、NVMeドライバーを使用すると、システムの余分な負荷による遅延が約10倍減少することがわかります。









LinuxカーネルとSPDKメカニズムを使用してドライブを操作するときに発生する遅延（ナノ秒単位）



SPDKは、1つのプロセッサコアを使用して8つのNVMe SSDを処理でき、350万を超えるIOPを提供します。









LinuxカーネルとSPDKメカニズムを使用して異なる数のSSDを扱う場合のI / Oパフォーマンスを変更する

前提条件とSPDKビルド

SPDKは、Fedora、CentOS、Ubuntu、Debian、FreeBSDなどのOSでの作業をサポートしています。 SPDKの実行に必要なパッケージの完全なリストは、 ここにあります 。



SPDKを構築する前に、 DPDK （Data Plane Development Kit）をインストールする必要があります。これは、SPDKがDPDKにすでに存在するメモリ管理とキュー機能に依存しているためです。 DPDKは、ネットワークパケットの処理に一般的に使用される成熟したライブラリです。 メモリ管理とデータキューの高速処理に最適です。



SPDKのソースコードは、次のコマンドを使用してGitHubリポジトリから複製できます。

git clone https://github.com/spdk/spdk.git
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

▍DPDKビルド（Linux用）

 cd /path/to/build/spdk wget http://fast.dpdk.org/rel/dpdk-16.07.tar.xz tar xf dpdk-16.07.tar.xz cd dpdk-16.07 && make install T=x86_64-native-linuxapp-gcc DESTDIR=.
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

▍SPDKアセンブリ（Linux用）

アセンブルされたDPDKがSPDKフォルダーに配置されたら、このディレクトリに戻ってSPDKをビルドし、DPDKにmakeパスを渡します。

 cd /path/to/build/spdk make DPDK_DIR=./dpdk-16.07/x86_64-native-linuxapp-gcc
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

SPSPDKアプリケーションを起動する前のシステムの構成

次のコマンドを使用すると、メモリの大きなページ（巨大ページ）の使用を有効にし、NVMeおよびI / OATデバイスをカーネルドライバーから切り離すことができます。

 sudo scripts/setup.sh
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

サイズが2 MBなので、大きなページを使用することがパフォーマンスにとって重要です。 これは、標準の4kページをはるかに超えています。 メモリページのサイズが増加するため、翻訳変換バッファ（TLB）でミスが発生する可能性が低くなります。 TLBは、仮想アドレスを物理メモリアドレスに変換するプロセッサ内のコンポーネントです。 したがって、大きなページを使用すると、TLBをより効率的に使用できます。

Hello Worldサンプルアプリケーション

SPDKには多くの例が含まれており、品質に関するドキュメントはこちらから入手できます。 これにより、すぐに開始できます。 「Hello World」というフレーズが最初にNVMeデバイスに保存され、次にバッファに読み戻される例を考えます。



コードに入る前に、NVMeデバイスの構造について説明し、NVMeドライバーがこの情報を使用してデバイスを検出し、データを書き込んでから読み取る方法の例を紹介する価値があります。



NVMeデバイス（NVMeコントローラーとも呼ばれます）は、次の考慮事項に基づいて構成されています。

• システムには、1つ以上のNVMeデバイスがあります。
• 各NVMeデバイスは、いくつかのネームスペースで構成されます（この場合は1つだけです）。
• 各ネームスペースは、多数の論理ブロックアドレス（LBA）で構成されています。

それでは、ステップバイステップの例を見てみましょう。

セットアップ

1. 環境抽象化レイヤーDPDK（Environment Abstraction Layer、EAL）を初期化します。 以下のコードでは、 -c
   
   
   
   はコードが実行されるカーネルを選択するためのビットマスクです。 –n
   
   
   
   はカーネルID、 --proc-type
   
   
   
   はhugetlbfsファイルシステムがマウントされるディレクトリです。
   
   
   
   

    static char *ealargs[] = {        "hello_world",        "-c 0x1",        "-n 4",        "--proc-type=auto", }; rte_eal_init(sizeof(ealargs) / sizeof(ealargs[0]), ealargs);
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

   
   
   
2. 要求バッファーのプールを作成してみましょう。これは、各I / O要求のデータを格納するためにSPDK内で使用されます。
   
   
   
   

    request_mempool = rte_mempool_create("nvme_request", 8192,         spdk_nvme_request_size(), 128, 0,         NULL, NULL, NULL, NULL,         SOCKET_ID_ANY, 0);
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

   
   
   
3. NVMeデバイスの存在についてシステムをチェックしましょう。
   
   
   
   

    rc = spdk_nvme_probe(NULL, probe_cb, attach_cb, NULL);
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

   
   
   
4. NVMeデバイスを列挙し、デバイスを接続する必要があるかどうかを示す論理値をSPDKに返します。
   
   
   
   

    static bool probe_cb(void *cb_ctx, struct spdk_pci_device *dev, struct spdk_nvme_ctrlr_opts *opts) {    printf("Attaching to %04x:%02x:%02x.%02x\n",    spdk_pci_device_get_domain(dev),    spdk_pci_device_get_bus(dev),    spdk_pci_device_get_dev(dev),    spdk_pci_device_get_func(dev));    return true; }
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

   
   
   
5. デバイスが接続されています。 これで、ネームスペースの数に関するデータをリクエストできます。
   
   
   
   

    static void attach_cb(void *cb_ctx, struct spdk_pci_device *dev, struct spdk_nvme_ctrlr *ctrlr, const struct spdk_nvme_ctrlr_opts *opts) {   int nsid, num_ns; const struct spdk_nvme_ctrlr_data *cdata = spdk_nvme_ctrlr_get_data(ctrlr); printf("Attached to %04x:%02x:%02x.%02x\n",      spdk_pci_device_get_domain(dev),      spdk_pci_device_get_bus(dev),      spdk_pci_device_get_dev(dev),      spdk_pci_device_get_func(dev)); snprintf(entry->name, sizeof(entry->name), "%-20.20s (%-20.20s)", cdata->mn, cdata->sn); num_ns = spdk_nvme_ctrlr_get_num_ns(ctrlr); printf("Using controller %s with %d namespaces.\n", entry->name, num_ns); for (nsid = 1; nsid <= num_ns; nsid++) { register_ns(ctrlr, spdk_nvme_ctrlr_get_ns(ctrlr, nsid)); } }
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

   
   
   
6. サイズなどの情報を取得するために、名前空間を列挙します。
   
   
   
   

    static void register_ns(struct spdk_nvme_ctrlr *ctrlr, struct spdk_nvme_ns *ns) { printf("  Namespace ID: %d size: %juGB\n", spdk_nvme_ns_get_id(ns),   spdk_nvme_ns_get_size(ns) / 1000000000); }
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

   
   
   
7. 名前空間に読み取り/書き込み要求を送信するための入力キューのペア（キューペア）を作成しましょう。
   
   
   
   

    ns_entry->qpair = spdk_nvme_ctrlr_alloc_io_qpair(ns_entry->ctrlr, 0);
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

dataデータの読み取り/書き込み

1. 読み書きするデータ用のバッファを割り当てます。
   
   
   
   

    sequence.buf = rte_zmalloc(NULL, 0x1000, 0x1000);
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

   
   
   
2. 文字列「Hello World」をクリップボードにコピーします。
   
   
   
   

    sprintf(sequence.buf, "Hello world!\n");
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

   
   
   
3. いくつかのキュー、バッファーへのポインター、LBAインデックス、データの書き込み後に機能するコールバック関数、およびコールバック関数に渡す必要があるデータへのポインターを提供することにより、指定された名前空間に書き込み要求を送信します。
   
   
   
   

    rc = spdk_nvme_ns_cmd_write(ns_entry->ns, ns_entry->qpair, sequence.buf,   0, /*  LBA */  1, /*   */  write_complete, &sequence, 0);
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

   
   
   
4. 記録プロセスが完了すると、コールバック関数が同期的に呼び出されます。
   
   
   
   
5. 指定されたネームスペースに読み取り要求を送信し、書き込み要求に使用されたのと同じサービスデータのセットを提供します。
   
   
   
   

    rc = spdk_nvme_ns_cmd_read(ns_entry->ns, ns_entry->qpair, sequence->buf,      0, /* LBA start */  1, /* number of LBAs */      read_complete, (void *)sequence, 0);
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

   
   
   
6. 読み取りプロセスが完了すると、コールバック関数が同期的に呼び出されます。
   
   
   
   
7. 読み取りおよび書き込み操作の完了を示すフラグを確認します。 リクエストがまだ処理されている場合、指定されたキューのペアのステータスを確認できます。 実際のデータの読み取りおよび書き込み操作は非同期に実行されますが、 spdk_nvme_qpair_process_completions
   
   
   
   関数は進行状況を確認し、完了したI / O要求の数を返します。また、上記の読み取りおよび書き込み手順の完了を通知するコールバック関数を呼び出します。
   
   
   
   

    while (!sequence.is_completed) {      spdk_nvme_qpair_process_completions(ns_entry->qpair, 0); }
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

   
   
   
8. 終了する前に、いくつかのキューやその他のリソースを解放します。
   
   
   
   

    spdk_nvme_ctrlr_free_io_qpair(ns_entry->qpair);
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

GitHubに投稿された、ここで解析された例の完全なコードを次に示します。 SPDK NVMe API ドキュメントは 、spdk.ioにあります。



「Hello World」を開始すると、次が表示されます。









Hello Worldの例の結果

SPDKに含まれるその他の例

SPDKには、プログラマーがSPDKがどのように機能するかを迅速に把握し、独自のプロジェクトの開発を開始できるように設計された多くの例が含まれています。



ここで、たとえば、NVMeディスクのパフォーマンスをテストするperfの例の結果。









NVMeディスクのパフォーマンスをテストするパフォーマンスの例



機能、管理命令セットの属性、NVMe命令セットの属性、電源管理情報、デバイスの技術状態に関する情報など、NVMeディスクに関する情報にアクセスする必要がある開発者は、 識別例を使用できます。









NVMeドライブに関する情報を表示する例を特定する

結論

Linuxユーザー空間で実行されるSPDKとドライバーを使用してNVMeディスクを操作する方法について説明しました。 このアプローチにより、データストレージデバイスへのアクセスにカーネルメカニズムを使用することで生じる追加の遅延が最小限に抑えられ、ドライブとシステム間のデータ転送速度を向上させることができます。



SPDKを使用した高性能ディスクドライブアプリケーションの開発に興味がある場合は、こちらのSPDKメーリングリストに登録できます。 そして、 こことここ -役に立つビデオ資料。