💪 🎧 🎊 ソフトウェア製品の技術的な監視のための別のツールとしてのGrafana ☀️ 📯 🤶🏿

Logicify Monitoring Toolsシリーズの別の記事でGrafanaについて説明しています。このソフトウェアツールは、内部プロジェクトと外部プロジェクトの両方の視覚化とデータ分析に使用します。この記事は、テクニカルディレクター、開発者、DevOps、システム管理者、プロジェクトマネージャー、およびすべての関係者にとって有用です。

Grafanaとは何ですか？

Grafanaは、データを視覚化、監視、分析するためのオープンソースプラットフォームです。このツールは、Graylogと組み合わせて、ユーザーの行動とシステムパフォーマンスを監視するための双方向システムの一部です。 Grafanaを使用すると、ユーザーはパネルを使用してダッシュボードを作成できます。各パネルには、特定のインジケーターが一定期間表示されます。各ダッシュボードはユニバーサルであるため、特定のプロジェクトに合わせてカスタマイズしたり、開発やビジネスのニーズを考慮したりできます。

Logicifyチームは主にGrafanaとElasticsearchおよびInfluxDBを併用していますが、このソフトウェアツールは他の多くのデータソース（Prometheus、MySQL、Postgresなど）をサポートしています。 Grafanaは、各データソースに対して、カスタムクエリエディターと特別な構文を提供します。

Grafana用語

パネルは、選択したインジケーターの基本的な視覚化要素です。 Grafanaは、グラフ、シングルステータス、テーブル、クリックヒートマップ、フリーテキスト、公式およびコミュニティが作成したプラグイン（世界地図や時計など）および視覚化可能なアプリケーションとの統合を備えたパネルをサポートしています。各パネルのスタイルと形式をカスタマイズできます。すべてのパネルを新しい場所にドラッグし、再配置およびサイズ変更できます。
ダッシュボード -一連の変数（サーバー名、アプリケーション、センサーなど）とともにグリッドに配置された個別のパネルのセット。変数を変更することにより、ダッシュボードに表示されるデータ（たとえば、2つの別個のサーバーからのデータ）を切り替えることができます。すべてのダッシュボードはカスタマイズできます。また、ユーザーのニーズに応じて、ダッシュボードに表示されるデータをセクション化およびフラグメント化できます。 Grafanaプロジェクトには、コード開発者とユーザーの大規模なコミュニティが関係しているため、さまざまなタイプのデータとソース用の既製のダッシュボードが多数あります。
ダッシュボードでは、注釈を使用して、さまざまなパネルに特定のイベントを表示できます。注釈は、Elasticsearchのカスタムクエリによって追加されます。グラフでは、注釈は垂直の赤い線で表示されます。注釈にカーソルを合わせると、たとえば、エラーコード5xxでサーバーの応答を追跡したり、システムを再起動したりするために、イベントとタグの説明を取得できます。これにより、アプリケーションの時間、特定のイベント、およびその結果を簡単に比較し、システムの動作を調べることができます。

LogicifyチームでGrafanaツールを使用するためのベストプラクティス

内部プロジェクトでGrafanaを使用する

内部プロジェクト「Internet of Things」（オフィス環境監視ソリューション）では、Grafanaを時系列データベースであるInfluxDBに接続して、オフィス環境の変化を視覚化し、それに応じて対応しました。一連のセンサーが、ヘルソンのオフィスの各ゾーンの温度、湿度、気圧、CO2レベルを測定します。これらのパラメーターは収集され、大きなキッチンモニターとオンラインでGrafanaのグラフの形で視覚化されます。

Logicifyオフィスエリアを備えたGrafanaダッシュボード

そのため、空気の質のパラメーターを常に監視し、オフィスマネージャーは変更に対応します。CO2レベルが高すぎる場合はウィンドウを開き、エアコンと加湿器のオンとオフを切り替えます。

オフィス環境を備えたGrafanaダッシュボード

Grafanaに表示されるグラフと時系列注釈のおかげで、数か月と季節のオフィスの微気候の傾向を分析しました。また、このツールを使用して、便利なウィジェットと情報（天気予報、為替レート、内部カレンダー）を大きなキッチンモニターで視覚化しました。

カスタムWebアプリケーションでGrafanaを使用する方法

Grafana + Graylog

Graylogツールを使用して、Webアプリケーションのログを保存し、管理し、開発段階と運用段階の両方でパフォーマンスを監視します。 Grafanaは、Graylogに保存されている雑誌を、分析およびシステム監視のために視覚的な形式に変換するツールです。現在のプロジェクトの1つであるGrafanaツールは、Webアプリケーションとクライアントフローのパフォーマンスを読み込んで監視するためのユーザーインターフェイスと呼ぶことができます。 GraylogとGrafanaのツールは互いに独立して存在するため、それらを相互に接続するための特別な複雑な統合ツールは作成しませんでした。 GraylogはすべてのログデータをGrafanaのデータソースの1つであるElasticsearchに格納するため、ログが格納されている特定のElasticsearchインデックスを使用してGrafanaをGraylogに接続します。

WebアプリケーションのGrafanaで視覚化できるメトリックは何ですか？

プレーンテキストのログやエラー通知は、グラフ、チャート、表の形式でデータを視覚化することが主な目的であるため、Grafanaにとって「興味深い」ものではありません。 Djangoのカスタムモジュールを作成して、処理されたリクエストとネットワーク/従業員の応答ごとに追跡したいデータを収集しました。データには、成功/失敗のステータスだけでなく、次のような一連の構造化フィールド（一般的なものとプロジェクトに関連するものの両方）も含まれています。

アプリケーションバージョン
各リクエストの一意の識別子
応答時間とステータス
エラーコード（ある場合）
要求の送信元のIPアドレス
ユーザー情報（電子メール、登録ユーザーのユーザー名、ロール、権限）
デバイスなど

Djangoはユーザー構造の分析レコードをGraylogに配置し、それらを別のストリームに保存します。このデータは、Graylog組み込みダッシュボードを使用して視覚化できますが、Grafanaダッシュボードほど見栄えがよくありません。したがって、Grafanaにこの分析データを読み取らせて視覚化します。したがって、アプリケーションのパフォーマンスを監視し、リアルタイムと振り返ってデータをダウンロードします。

デバッグツールとしてのGrafana

Grafanaダッシュボードは、主にアプリケーションのデバッグに役立ちます。エンドクライアントが問題を報告した場合、Grafanaは、クライアント/サーバー側のエラーをアプリケーションロジックの実際のエラーまたはギャップと区別する機会を与えてくれます。クライアント（電子メールアドレスを使用）、アプリケーション管理者、およびアプリケーション自体によって指定された期間に開始されたすべてのWeb要求を追跡し、除外方法によって理由を見つけます。

また、ロードとアプリケーションのパフォーマンスのグラフでダッシュボードに異常がある場合、エラーをデバッグして修正します。次のGrafanaグラフの例は、一定期間にわたるWeb要求の応答時間を示しています。各Web要求について、最大、最小、および平均の応答時間を追跡します。処理に時間がかかりすぎるリクエストが見つかった場合は、グラフの特定の部分をスケーリングし、問題を調査します。

Web応答時間を示すGrafanaグラフの例

別のグラフは、一定期間のシステム負荷を示しており、トラフィックの追跡に役立ちます。たとえば、営業時間外や週末など、異常な活動の爆発が発生した場合は、調査します。このようなスパイクは、たとえば、GoogleクローラーがWebサイトのコンテンツのインデックスを作成したり、悪意のあるボットがシステムの脆弱性をスキャンしたりすることで発生します。繰り返しますが、各ケースは調査され、それに応じて考慮されます。

アプリケーションのダウンロードを示すGrafanaグラフの例

Grafanaには、特定のルールに従って、組み込みの通知メカニズムがあります（たとえば、電子メール経由またはSlack経由の通知経由）。 Graylogですべての通知が構成されているため、Grafanaツールのこの機能は使用しません。ただし、システムのパフォーマンスに関するいくつかの問題は、プログラムの実行後にのみ表示されます。たとえば、Web要求に対する応答時間が異常に長い場合などです。この件に関するGraylog通知は受け取りませんが、異常はGrafanaチャートに明確に表示されます。そのため、いくつかの問題を発見すると、両方のツールが互いに補完します。高レベルでGrafanaをチェックして、何が起こったのか、なぜ起こったのかを理解し、特定のリクエストIDを使用してGraylogでさらに掘り下げます。

開発済みアプリケーションと使用済みアプリケーションの両方に使用されるGraylogとは異なり、Grafanaは使用済みアプリケーションにのみ使用されます。開発段階にあるアプリケーションでGrafanaを使用する場合の唯一の例外は、パフォーマンステストです。 JMeterを使用してシステムブートをエミュレートし、Grafanaダッシュボードをチェックして、その反応を確認します。

ビジネスインテリジェンスツールとしてのGrafana

パフォーマンスの追跡とデバッグの目標に加えて、Grafanaダッシュボードは、情報に基づいたビジネス上の意思決定を行うための強力なツールです。適切に設定すると（できればGoogleアナリティクスサービスと連携して）、Grafanaはシステム内のユーザー行動のカスタム分析を円グラフ、時間ヒストグラム、その他のグラフィック要素の形で視覚化できます。それらに基づいて、製品に関心のある関係者は、アプリケーションのさらなるスケーリング、一部の機能の追加または削除、および顧客との対話のサイクルの改善に関する決定を下すことができます。

eコマースアプリケーションでのユーザーの行動を示すGrafanaダッシュボードの例

上記のダッシュボードはビジネスに焦点を当てているため、開発者は内部目的で使用するのではなく、e-コマースアプリケーションの顧客の流れを追跡するセキュリティツールとして使用します：登録、承認、一定期間の注文。

GrafanaがWebアプリケーションの使いやすさを向上させた2つの実際のプロジェクトを以下に示します。

Grafanaを使用して、システム内の定期的な注文のステータスを定期的に監視し、失敗した注文をフィルタリングします。これらの注文はサブスクリプションに基づいています。つまり、毎月システムで生成され、顧客の銀行口座から自動的に引き落とされます。支払いが失敗する場合があり（お金が足りない/金融機関の拒否）、システム管理者が状況を確認し、顧客に連絡して注文を手動で再生成します。したがって、単一の注文が見えなくなることはありません。顧客とサプライヤーの両方が満足しています。
eコマースアプリケーション用にGrafanaを使用して作成されたレポートを使用すると、バスケットにアイテムが既にあるにもかかわらず、大部分の新規顧客がチェックアウトページを離れることがわかりました。この結論は、Google Analyticsサービスのレポートでサポートされていたため、チェックアウト手順は段階的に分析され、改善されました。ユーザーは2クリックで注文できるようになりました。その結果、顧客に対する訪問者の割合が増加し、サプライヤの利益も増加しました。

Grafanaは、内部プロジェクトと外部プロジェクトの両方のLogicifyチーム監視システムの重要なコンポーネントです。このソフトウェアツールはオープンソースであり、開発者の大規模で活発なコミュニティです。しかし、何よりも柔軟性が気に入っています。多くのデータソースをサポートし、ダッシュボードとパネルを簡単にカスタマイズできます。

ソフトウェア製品の技術的な監視のための別のツールとしてのGrafana