JMeter、Yandex.Tank、およびOverloadを使用したPostgreSQLロードテスト

はじめに

したがって、このマニュアルは、大量のシステムをテストし、負荷テストのほとんどのタスクを解決するための汎用ツールを探している人に適しています。 この記事はこの問題の初心者を対象としているため、詳細を最大限に活用してプロセスを簡素化するようにします。 バンドル内の各要素について簡単に説明し、最初のインストールと構成に進みます。

1. Apache JMeterは、JDBC接続、FTP、LDAP、SOAP、JMS、POP3、IMAP、HTTP、TCPをすぐにテストできる負荷テストツールであり、さまざまなプラグインを使用して他の多くのプロトコルとソリューションを実行できます。
2. Yandex.Tankは、負荷テスト用のクラウドベースのツールであり、JMeterを含むさまざまな負荷ジェネレーターを使用します。
3. Yandex.OverLoadは、負荷がかかっているサーバーの便利な監視と分析のためのサービスです。

インストールとセットアップ

JMeterを正しくインストールするための鍵は、javaを正しくインストールすることです。 この段階では、すべての操作がLinuxで引き続き発生することは言うに値します。 公式Webサイトには、すべてのニュアンスを記載した優れたマニュアルがあります。

1. 32ビットバージョンのJava をインストールします。
2. 64ビットバージョンのJava をインストールします。

Javaを検証のために整理し、コンソールでjava -versionを作成すると、答えは次のようになります。

それでは、Apache JMeterに移りましょう。 JMeterの任意のバージョンをインストールできますが、「Error in NonGUIDriver」などの問題が発生した場合、新しいバージョンのタンクが必要になるか、作業2.13に簡単に切り替えることができます。 インストールに戻ります-すべてのバージョンで同様です：

ダウンロードクライアント ：



wget https://archive.apache.org/dist/jmeter/binaries/apache-jmeter-2.13.tgz







開梱：



tar -zxvf apache-jmeter-2.13.tgz







JMeterがインストールされており、すでに動作します。 初期セットアップでは、1回の変更で十分です。 パスapache-jmeter-2.13 / binに沿って進み、拡張子なしのjmeterファイルを編集用に開きます。



cd apache-jmeter-2.13/bin nano jmeter







下のスクリーンショットのように、行を見つけます。 使用するサーバーの特性に応じて、ヒープサイズの値を設定します。 HEAP Xmsの最初の値は、プロセスの開始時にプロセスに割り当てられたRAMの量であり、2番目のXmxは、プロセスで使用できるRAMの最大値です。







ほとんどの場合、サーバーにGUIがなく、サーバーへのアクセスがリモートである場合、JMeterをローカルにインストールして、スクリプトのデバッグと書き込みを行うことをお勧めします。 理想的には、バージョンは同じである必要がありますが、ほとんどの場合、JMeterは隣接またはそれより低いバージョンのスクリプトを理解します。 もちろん、 JavaとJMeter自体もローカルマシンにインストールする必要があります。

Yandex.Tankのインストールと構成に進みます。これで十分であるため、次の手順を完了する必要があります。



sudo apt-get install python-pip build-essential python-dev libffi-dev gfortran libssl-dev





sudo -H pip install --upgrade pip





sudo -H pip install --upgrade setuptools





sudo -H pip install https://api.github.com/repos/yandex/yandex-tank/tarball/master







次のステップは、銃をどこにどのように撃つかを伝えることです。 これを行うには、構成ファイルload.iniを使用してtankを持つマシンに作業ディレクトリを作成します



mkdir test cd test nano load.ini







構成ファイルの内容は、タンクのアクションのガイドです。テストのすべての重要な点を反映する必要があります。 JMeterを使用したテストのload.iniの例を次に示します。







[タンク]ブロックですべてが明確になっていると思います。質問が発生した場合、各フィールドの説明とタンカー自体からのブロックがあります。 [jmeter]ブロックで最も興味深いもの。

jmxパラメーターにはスクリプトへの直接のパスが含まれます。jmeter_pathはJMeter実行可能ファイルへのパスです。また、タンクが不必要な動きをしないようにするには、jmeter_verパラメーターでJMeterバージョンを指定する必要があります。

スクリプト開発

最初のテストを作成します。 これを行うには、JMeterクライアントを開きます-ほとんどのWindowsシステムは管理者として実行する必要があります。 JMeterのマスタリングを開始し、同時にそのGUIを理解する方法については、 この記事で詳しく説明されています 。 データベースを使用した例がありますが、これは通常のhttpリクエストとは少し異なります。 最初の違いは、PostgreSQLはJMeterではすぐにサポートされないため、正しいバージョンのドライバーをダウンロードする必要があることです。 次に、ダウンロードした.jarをJMeterのあるフォルダー内の/ libディレクトリーに配置する必要があります。 同じ.jarは、タンクのある車の同様のパスに沿って配置する必要があります。 ドライバーが整理されたら、スクリプトに移動します。

最初に行う必要があるのは、データベース接続を構成することです。そのためには、[テスト計画]-> [追加]-> [構成要素]-> [JDBC接続構成]を右クリックします。 スクリーンショットのように、構成要素がテストツリーに追加されます。







それに合格すると、多くの必要なフィールドが表示されます。 ここでは、まず上部に注意を払う必要があります。







[変数名]フィールドに入力することが重要です。 この名前は、JDBCリクエスト（サンプラー）でセッションプールにアクセスするために使用されます。 また、最大接続数に注意する価値があります。このパラメーターは、データベースへの同時接続数を制限します。 タイムアウトと接続ライフサイクルに特別な要件がない場合、このブロックの残りの部分はそのままにしておくことができます。







上記のスクリーンショットのブロックに進みます。ここでは、データベースに接続するためのデータを入力する必要があります。 テンプレートは次のとおりです。

• データベースURL：jdbc：postgresql：// IPAddress：PortNo / DatabaseName？AutoReconnect = true;
• JDBCドライバークラス：org.postgresql.Driver;
• ユーザー名：データベースのユーザー名。
• パスワード：データベースのパスワード。

生地の木をさらに充填します。 [テスト計画]-> [追加]-> [スレッド（ユーザー）]-> [スレッドグループ]をもう一度クリックします。







発砲コントロールパネルの前に、ここでユーザー数-スレッド数、到達にかかる時間-ランプアップ期間、および各新規ユーザーが前のユーザーと同じアクションを繰り返す強度を入力します。 リクエストを無限に送信する必要がある場合は、ループカウントの反対側の「永久」にチェックマークを付けます。 最初のテストでは、少数の繰り返しで、数人のユーザーに値を設定できます。 ここで、データベース内のクエリに直接渡します。







JDBC要求サンプラープランをテストに追加するには、[スレッドグループ]-> [追加]-> [サンプラー]-> [必要なJDBC要求]を右クリックします。 最初は変数名フィールドに興味があります。これは、JBDC接続構成の同じパラメーターと一致する必要があります。 その後、クエリの種類に応じて、クエリの種類のドロップダウンリストを見てください。たとえば、データベース内のSELECTクエリの場合は適切な値が必要です。Selectステートメントを選択する必要があります。 このサンプラーでの作業の最後に、有効なSQLクエリに対応する必要があるリクエストボディを指定する必要があります。



一般に、スクリプトは準備ができていますが、デバッグする必要があります。これは次のように行われます。

• JDBC要求の後、目的のスレッドグループにデバッグサンプラーを追加します。 データベースへのクエリ後に受信した応答を表示します。 スレッドグループ->追加->サンプラー->サンプラーのデバッグ。
• 特定のサンプラーの結果を表示するには、テスト計画の最後に結果を監視する必要があります。テスト計画->追加->リスナー->結果ツリーの表示のように追加します。 スクリプトを実行すると、実行されたすべてのリクエストでドリルダウンが行われます。

JMeter自体からこれまでのところテスト実行の時が来ました-クリックするだけです [結果ツリーの表示]をクリックします。 スクリプトを作成した後、次の結果が得られました。

スクリプトのデバッグ

最初のものが正常に機能したことがわかり、応答メッセージフィールドを見ると、フィールドは一意でなければならないことがわかります。 そこで、パラメーター化に進みます。 これを行うには多くの方法がありますが、最もユニークな方法は、BeanShell PreProcessorを使用したパラメーター化です。 このためには、JDBCリクエストの前に、上記のプリプロセッサ-スレッドグループ->追加->プリプロセッサ-> BeanShellプリプロセッサを挿入する必要があります。 プリプロセッサについては、 こちらまたはJMeterのWebサイトで読むことができます。 BeanShell PreProcessorは、安定した高速オプションとしてJSR223 PreProcessor + Groovyを使用するため、高負荷には推奨されません。

ここには飾りはありません-Javaで記述し、必要なクラスをインポートし、変数を宣言し、必要な形式のランダム変数をそれに割り当てます。 結果の変数をJMeter変数に入れるには、vars.put（）を使用します。 次に、JDBCリクエストに移動して、一意のフィールドの値ではなく、$ {needUUID}形式の変数を追加します（下のスクリーンショットの例を参照）。







テスト計画の最終的な構造は次のとおりです。







JMeterからもう1回実行し、すぐに結果ツリーの表示を確認し、[サンプラーのデバッグ]を選択して、[応答データ]タブに移動します。







ここで、変数が正常に生成され、すべてのリクエストで異なることを確認できます。 テストをデバッグして実行する準備ができたら、デバッグ要素、つまりデバッグサンプラーとビュー結果ツリーを削除する必要があります。 これは、要素の右ボタンを押して[削除]を選択するだけで実行できます。 念のため、この後にテストのタイプを適用します。







ここで、テストを保存し、タンクのある車にテストを転送します。 ファイルload.iniの「jmx」パラメーターに追加して保存します。 絶対アドレス指定が使用されます。 私にとってはこのように見えます：







すべてがこの段階で機能することを理解する最初の打ち上げの時が来ました。 その前に、データベースへの行の追加を制御する必要があります。 これを行うには、 pgAdminツールを使用するか、データベースのあるサーバーに移動して、スクリプトの実行前後に行をカウントします。 データベースへの接続は、同様のコマンドによって実行されます。



psql -h IpAddress -d dbName -U UserName







カウント自体は次のように行われます。



select count(*) from alert;







タンクのある車に戻り、load.iniがあるディレクトリに移動して、タンクを開始するコマンドを入力します。



yandex-tank







開始してから数秒後に、現在のテストパラメーターを示すウィンドウが表示されます。 短時間のテストでは、タンクには現在のパラメーターに関するデータを取得する時間がありません。

モニタリング

テストの実行とテストを確認した後、モニタリングの設定に進みます。 幸いなことに、過負荷監視には最小限の労力しか必要ありません。 次のアクションで十分です。

• オーバーロードの登録;
• オーバーロードのプロファイルアイコンをクリックして「my apiトークン」を選択すると、トークンが取得されます。
• タンクのあるマシンのload.iniと同じフォルダーにtoken.txtを作成します。
• 受信したトークンをtoken.txtに入力して保存します。
• load.iniに[overload]ブロックを追加します-タンカーからの説明 。

load.iniの次の内容について取得します。

これで、テストの開始後、オーバーロードプロファイルに現在のテストと過去のすべてのテストが多数の有用なグラフで表示されます。







Cオーバーロードが終了しました。他のメトリックとその監視について少し説明します。 データベースの直接監視を設定するための多くのガイドがありますので、このプロセスについては詳しく説明しません。 データベースのサーバーメトリックとinfluxdbを削除するには、 telegrafを使用することをお勧めします。 すべてのメトリックの出力はGrafanaで整理できます。 これを行うには、このガイドのインストールプロセスを使用できます。



最後に、最近、つまりバージョン3.2以降、JMeterには、流入ベースの監視ソリューションが組み込まれていますが、Overloadとは異なり、すべてを自分で構成する必要があると言ってよいでしょう。



以上です。 みんなの良い撮影！