blktraceを使用したブロックデバイスのパフォーマンス分析

ご存じのように、I / O操作は、最新のLinuxシステムのパフォーマンスの点で重要なリソースの数に属します。 Linuxシステムのパフォーマンスのボトルネックの特定と分析は非常に複雑です。 通常、この目的には専用のユーティリティが使用されます。 最も有名なパフォーマンス分析ツールの中で、sysstatパッケージに含まれるすべてのユーティリティ（iostat、sarなど）の最初に言及する価値があります。 ただし、状況によっては、これらのユーティリティを使用して取得した情報では不十分です。 たとえば、iostatを使用すると、特定の操作を実行しているプロセスを正確に見つけることはできません。 一方、このような情報は、特定のタスクを解決するときに必要です。たとえば、データストレージシステムのボトルネックを検索して分析する場合です。



有名なLinuxカーネル開発者のJens Axboは2007年にblktraceを作成しました。これはI / O操作をトレースし、ユーザーに詳細情報を提供する特別なユーティリティです。 この記事では、blktraceの機能について詳しく説明します。

特徴

blktraceを使用すると、次の問題を解決できます。

• ブロックデバイスのパフォーマンスを分析します。
• 潜在的なリソースコストを計算します（たとえば、ソフトウェアRAIDを接続する場合）。
• さまざまなハードウェア構成のパフォーマンスを分析します。
• 特定のソフトウェア環境に最適な構成を決定します。
• さまざまなファイルシステムのパフォーマンスを評価します：さまざまなファイルシステム（ext4、JFS、XFS、Btrfs）はブロックI / Oサブシステムとさまざまに相互作用し、blktraceを使用して、特定のアプリケーションまたはハードウェアで作業するときに最高のパフォーマンスを提供できるファイルシステムを決定できます構成。

インストールと開始

Blktraceはほとんどの一般的なLinuxディストリビューションで使用できるため、ソースからコンパイルしてインストールする必要はありません。 インストールは、パッケージマネージャーを使用して標準的な方法で実行されます。 blktraceに加えて、blkparseユーティリティもインストールされ、より便利で人間が読める形式で結果を提示します。



次のコマンドを実行します。

  blktrace -w 30 -d / dev / sdf -o- 

この場合のコマンドライン引数は次のことを意味します。

• 「W」は、観測が実行される期間（この場合は30秒）を意味します。
• 引数「d」の後に、I / O操作に関する統計が収集されるデバイスが示されます。
• 「-」は、すべての統計がコンソールに表示され、特別なテキストファイルに保存されないことを示します。

コマンドライン引数とコマンド構文の詳細については、 公式ドキュメントをご覧ください。



次の表が画面に表示されます。

 === sdd ===
 CPU 0：34イベント、2 KiBデータ
 CPU 1：27イベント、2 KiBデータ
 CPU 2：41イベント、2 KiBデータ
 CPU 3：イベント46件、KiBデ​​ータ3件
 CPU 4：2769イベント、130 KiBデータ
 CPU 5：1718イベント、81 KiBデータ
 CPU 6：1326イベント、63 KiBデータ
 CPU 7：2279イベント、107 KiBデータ
 CPU 8：14イベント、1 KiBデータ
 CPU 9：12イベント、1 KiBデータ
 CPU 10：22イベント、2 KiBデータ
 CPU 11：50イベント、3 KiBデータ
 CPU 12：455イベント、22 KiBデータ
 CPU 13：184イベント、9 KiBデータ
 CPU 14：508イベント、24 KiBデータ
 CPU 15：1100イベント、52 KiBデータ
合計：10585イベント（0を削除）、497 KiBデータ

プロセッサコアのロードに関する情報が表示されますが、実用的な価値はほとんどありません。I/ O操作のパフォーマンスに関する結論を引き出すために使用することはできません。



より詳細な情報をわかりやすい形式で表示するには、blkparseユーティリティを使用します。

  blktrace -w 1 -d / dev / sdf -o-|  blkparse -i- 

これで、出力は次のようになります。

 8.32 0 19190 28.774795629 2039 DR 94229760 + 32 [fio]
 8.32 0 19191 29.927624071 0 CR 94229760 + 32 [0]

/次に、関連するすべてのプロセッサコアのI / O操作に関する統計が表示されます。 1つのコアに対するこのような統計の例を示します/

  CPU15（8.32）：
キューに入れられた読み取り：0、0KiBキューに入れられた読み取り：64、354 KiB         
ディスパッチの読み取り：0 0KiBディスパッチの書き込み：33、276 KiB
リキューされた読み取り：0リキューされた書き込み：0
完了した読み取り：0.0KiB完了した読み取り：0.0KiB          
マージの読み取り：0,0KiBマージの書き込み：0,0KiB        
読み取り深度：0書き込み深度：68
 IOアンプラグ：22タイマーアンプラグ：16

合計（8.32）
キューに入れられた読み取り：0、0KiBキューに入れられた読み取り：1908、7665KiB
ディスパッチの読み取り：0、0KiBディスパッチの書き込み：1,009.7665KiB
リキューされた読み取り：0リキューされた書き込み：0
完了した読み取り：0、0KiB完了した書き込み：1954,7655KiB
読み取りマージ：0,0KiB書き込みマージ：0,0KiB
 IOアンプラグ：612タイマーアンプラグ：382

スループット（R / W）：0KiB / s / 7701KiB / s
イベント（8.32）：11684エントリ
スキップ：0前方（0-0.0％） 

最初に、次の列で構成される表があります。

1. メジャーおよびマイナーデバイス番号（この場合、8、32）。
2. 操作に関与するカーネル。
3. 操作のシーケンス番号。
4. 操作実行時間（ミリ秒）。
5. プロセス識別子（PID）;
6. イベント（blktraceは、それ自体を含むすべてのI / Oのライフサイクルイベントを監視します）;
7. RWBS（R-読み取り、W-書き込み、B-バリア操作、S-同期操作）;
8. 操作が開始されたブロック+ブロックの数。
9. 操作を実行したプロセスの名前（角括弧で示されている）。

主な操作は次のとおりです。

• A-I / O操作が別のデバイスに転送されました。
• C-操作が完了しました。
• F-操作はキュー内の隣接する操作と結合されます。
• I-操作の要求はキューに入れられます。
• M-操作はキュー内の隣接する操作と結合されます。
• Q-操作はキューに入れられます。
• T-タイムアウトのため無効。
• X-操作はいくつかの操作に分割されます。

次に、blkparseはすべてのI / O操作に関する合計情報を表示し、読み取り操作と書き込み操作の負荷レベルを比較します。

補助ツール

Blktraceはデータを受け取り、人間が読める形式で表示しますが、分析はしません。 専用のユーティリティは、このデータを分析し、それらに基づいてグラフを作成するように設計されています-まず、bttとseekwatcher / iowatcherを呼び出す必要があります。

Btt

このユーティリティの名前は、式blktraceタイムラインの略語で、「chronicle blktrace」と翻訳できます。 blkparseによって処理されたblktrace出力が保存されているファイルを分析し、ファイルから情報を抽出するように設計されています。

• 操作をキューに入れる前に処理に費やした時間について。
• 並んで待つのに費やした時間について。
• 操作に直接費やした時間について。

bttレポートを取得するには、最初にblktraceを使用してI / O操作をトレースし、別のファイルに保存する必要があります。

  blktrace -d / dev / sda -o-> trace 

このファイルをblkparseで処理します。 処理結果を別のファイルに保存します。

  blkparse -i trace -d trace1 

（この場合の-d引数は、処理されたデータが保存されるファイルを示します）。



次のコマンドを実行して、bttを使用して受信した出力を処理します。

  btt -i trace1 

レポートが画面の表に表示されます。 公式ドキュメントで、 btt結論の構造とその解釈について詳しく読むことができます。

シークウォッチャー/イオウォッチャー

seekwatcherユーティリティは、2007年にChris Masonによって作成されました。 それはblktraceレポートを処理し、アニメーション化されたものを含むチャートをプロットするためのものでした。 シークウォッチャープロジェクトサイトは今日まで存在しますが、より記念的な特徴を持っています。



今日、クリス・メイソンはデータ視覚化blktraceの新しいツール、iowatcherを開発しています。 リポジトリからiowatcherをインストールできます 。 iowatcherには最低限の依存関係が必要です。アニメーショングラフィックを作成するには、ffmpegまたはlibrsvgプログラムをインストールするだけです。



iowatcherを使用すると、blk、pin、btt、fio、mstatユーティリティに基づいてグラフ（アニメーショングラフを含む）を作成できます。

プロットするには、最初にblktraceを実行し、出力をテキストファイルに保存する必要があります。

  blktrace -w 30 -d / dev / sdf -o-> trace.dump 

次に、次のコマンドを入力します。

  iowatcher -t trace.dump -o trace.svg 

iowatcherはblktraceデータをグラフで表示します。



次のコマンドを使用して、アニメーションチャートを取得できます。

  iowatcher -t trace.dump --movie -o trace.mp4 / 

コマンド構文の詳細については、 こちらをご覧ください 。

blktraceはどこで使用されますか

Blktraceは、ストレージシステムのパフォーマンスの問題を分析および診断するために設計されたソフトウェアソリューションの補助ツールとして使用されます。



たとえば、LSIはPCIエクスプレスカードの形で作られたSSDのいくつかのモデルを生産しています。 ユーザーが最適なモデルを選択できるように、同社は特別なソフトウェア製品であるNytro Predictorを開発しました。 Nytro Predictorは、アプリケーションによるストレージ使用状況に関する情報を収集し、それに基づいて応答時間を改善するための推奨を行います。 Blktraceは、Linuxシステムのデータ収集ツールとして使用されます。 次に、このデータは特別なアルゴリズムを使用して処理され、その後、最適な速度を可能にするハードウェアソリューションが選択されます。



インテルは、LSI- Intel RAID SSD Cache Sizing and Performance Prediction Toolのソフトウェアコンポーネントを使用する同様の製品をリリースしています。 また、統計ツールとしてblktraceを使用します。



データへのアクセスを加速し、応答時間を短縮するという問題は、多数のユーザーがいるソーシャルネットワークにとって非常に重要です。 この問題を解決するための積極的な作業は、2010年にFlashcache（1つのブロックデバイスを使用して他のブロックデバイスへのアクセスをキャッシュできるLinuxカーネルのモジュール）を作成したFacebookプログラマーによって行われています。 製品はGPL（ここにGitHubのリポジトリ ）の下でライセンスされています 。 Flashcache開発者はblktraceを使用して、データベースアプリケーションが使用するディスクアクセスを分析しました。



Habréの投稿にコメントできない場合は、 ブログにご招待します。