cAdvisor、InfluxDB、Grafanaを使用したDocker Swarmの監視

実行中のアプリケーションのステータスを監視するには、常に監視する必要があります。 また、アプリケーションがDocker Swarmなどの非常にスケーラブルな環境で実行される場合、非常にスケーラブルな監視ツールも必要です。 この記事では、このようなツールのチューニングについて説明します。

このプロセスでは、各ノードにcAdvisorエージェントをインストールして、ホストとコンテナーのメトリックを収集します。 メトリックはInfluxDBに保存されます 。 これらのメトリックに基づいてグラフを作成するには、 Grafanaを使用します 。 これらのツールはオープンソースであり、コンテナとして展開できます。

クラスターを構築するには、Docker Swarmモードを使用し、必要なサービスをスタックの形でデプロイします。 これにより、動的監視システムを編成できるようになり、新しいノードがswarmに追加されると自動的に監視を開始できます。 プロジェクトファイルはこちらにあります 。

ツールの概要

監視システムの選択は非常に広いです。 スタックを構築するには、コンテナで適切に機能するオープンソースサービスを使用します。 次に、スタックの構成について説明します。

cAdvisor

cAdvisorはホストとコンテナーのメトリックを収集します。 ホスト上の共有ボリュームおよびルートファイルシステムとして接続されたドッカーソケットを備えたドッカーイメージとしてインストールされます。 cAdvisorは、InfluxDB、Prometheusなどを含むいくつかのタイプの時系列データベースに収集されたメトリックを記録できます。収集されたデータからグラフが構築されるWebインターフェイスも備えています。

Influxdb

リアルタイムのメトリック、イベント、および分析用のスケーラブルなストレージ。

InfluxDBは、数値メトリックを保存し、それらにタグを割り当てるオープンソースの時系列データベースです。 このシステムは、保存されたデータの操作に使用できるSQLに似たクエリ言語を実装しています。 ホストまたはコンテナでタグを使用してイベントをフィルタリングします。

グラファナ

Grafanaは、Graphite、Elasticsearch、OpenTSDB、Prometheus、InfluxDBから取得したメトリックに基づいてツールバーとグラフを作成できる多機能のオープンソースシステムです。

Grafanaは、Graphite、Elasticsearch、OpenTSDB、Prometheus、そしてもちろんInfluxDBからデータを取得することでツールバーを作成できる一般的な視覚化ツールです。 4番目のバージョンから、クエリ結果に基づいてアラートを構成できるようになりました。 特定のホストとサービスのデータを表示できるツールバーを作成します。

Docker Swarmモード

Swarm Mode



、バージョン1.12.0以降、Dockerに登場しています。 複数のホストから簡単に群れを作成し、簡単に管理できます。 サービスとオーケストレーションを検出するための組み込みメカニズムを提供するために、Swarmモードはキーと値のストレージを実装しています。 ホストは、マネージャーまたは作業ノードとして機能できます。 一般に、マネージャーはオーケストレーション機能を担当し、コンテナーは作業ノードで実行されます。 これはデモインストールなので、マネージャーにInfluxDBとGrafanaを配置します。

Swarm Modeには、仮想ロードバランサーとして機能する興味深いルーティングメッシュ機能があります。 5つのノードで実行されるポート80でリッスンする10個のコンテナーがあるとします。 これらのコンテナのいずれかの80番目のポートにアクセスしようとすると、要求はそれらのいずれかに送信され、別のホストで実行されている場合もあります。 したがって、任意のノードのIPアドレスを公開することにより、10個のコンテナー間のクエリバランシングを自動的に有効にします。

このデモで指定されたコマンドをシステムで個別に実行する予定がある場合は、次のプログラムが必要です。

• Docker ：version> = 1.13（Docker Compose Fileバージョン3およびSwarmモードの場合）;
• Docker Machine ：バージョン> = 0.8;
• Docker Compose ：version> = 1.10（Docker Compose Fileバージョン3の場合）。

swarmは3つのローカル仮想マシンで構成され、 Virtualbox docker-machine プラグインを使用してデプロイします。 これを行うには、 Virtualbox仮想化をインストールする必要があります。 他のプラグインを使用して、クラウドサービスに仮想マシンをデプロイできます。 マシンを作成した後の手順は、すべてのプラグインで同じです。 docker-machineの詳細については、 こちらをご覧ください 。

仮想マシンを作成するとき、デフォルトのオプションのままにします。 利用可能なオプションの詳細については、 ここをクリックしてください 。 swarm managerとして機能するホストはmanagerと呼ばれ、作業ノードはagent1とagent2です。 必要な数のノードを作成できます。 上記のコマンドを別のホスト名で繰り返します。 仮想マシンを作成するには、次のコマンドを実行します。

 docker-machine create manager docker-machine create agent1 docker-machine create agent2
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これらのコマンドの完了には時間がかかる場合があります。 マシンを作成すると、 docker-machine ls



出力は次のようになります。

 NAME ACTIVE DRIVER STATE URL SWARM DOCKER ERRORS agent1 - virtualbox Running tcp://192.168.99.101:2376 v17.03.1-ce agent2 - virtualbox Running tcp://192.168.99.102:2376 v17.03.1-ce manager - virtualbox Running tcp://192.168.99.100:2376 v17.03.1-ce
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

マネージャーホストでdockerエンジンを使用するには、コンテキストを切り替える必要があります。 次に、ローカルシステムではなく、 マネージャーホストにインストールされたdockerでコマンドを実行します。 これを行うには、次のコマンドを実行します。

 eval `docker-machine env manager`
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

managerでdockerに切り替えたので、このホストをswarmマネージャーとして初期化します。 他の接続されたノードで公開されるIPが必要になります。 docker-machine ip manager



は、必要な情報を提供します。 したがって、スウォームを作成するには、次のコマンドを実行します。

 docker swarm init --advertise-addr `docker-machine ip manager`
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次に、2つの作業ノードが必要です。 これを行うには、swarmの作成時に公開されたJoin TokenとIPを渡す必要があります。 トークンを取得するには、 docker swarm join-token -q worker



発行しdocker swarm join-token -q worker



。 前述のdocker-machine ip manager



を使用すると、IPマネージャーとその標準ポート2377を取得できます。各ワークノードのコンテキストに順番に切り替えて、新しいマシンをswarmに追加できますが、SSHを介してこれらのコマンドを実行する方がはるかに簡単です。 作業ノードをswarmに接続するには、次のコマンドを実行します。

 docker-machine ssh agent1 docker swarm join --token `docker swarm join-token -q worker` `docker-machine ip manager`:2377 docker-machine ssh agent2 docker swarm join --token `docker swarm join-token -q worker` `docker-machine ip manager`:2377
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

swarmに含まれるノードのリストは、 docker node ls



でdocker node ls



できます。 作業ノードを追加すると、出力は次のようになります。

 ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS 3j231njh03spl0j8h67z069cy * manager Ready Active Leader muxpteij6aldkixnl31f0asar agent1 Ready Active y2gstaqpqix1exz09nyjn8z41 agent2 Ready Active
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Dockerスタック

3番目のバージョンのdocker-composeファイルを1つのファイルに含めると、展開戦略を含むサービススタック全体を定義し、1つのdeployコマンドで展開できます。 docker-composeファイルの3番目のバージョンと2番目のバージョンの主な違いは、各サービスの説明にあるdeployパラメーターの外観です。 この設定により、コンテナの展開方法が決まります。 テスト監視システムのdocker-composeファイルを以下に示します。

 version: '3' services: influx: image: influxdb volumes: - influx:/var/lib/influxdb deploy: replicas: 1 placement: constraints: - node.role == manager grafana: image: grafana/grafana ports: - 0.0.0.0:80:3000 volumes: - grafana:/var/lib/grafana depends_on: - influx deploy: replicas: 1 placement: constraints: - node.role == manager cadvisor: image: google/cadvisor hostname: '{{.Node.ID}}' command: -logtostderr -docker_only -storage_driver=influxdb -storage_driver_db=cadvisor -storage_driver_host=influx:8086 volumes: - /:/rootfs:ro - /var/run:/var/run:rw - /sys:/sys:ro - /var/lib/docker/:/var/lib/docker:ro depends_on: - influx deploy: mode: global volumes: influx: driver: local grafana: driver: local
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

スタックには3つのサービスがあり、以下で説明します。

流入

ここでは、 influxdbイメージを使用します。 永続的なストレージの場合、コンテナフォルダ/ var / lib / influxdbにマウントされる流入ボリュームを作成します。 マネージャーホストでホストされるInfluxDBのコピーが1つだけ必要です。 Dockerサーバーは同じホストで実行されているため、コンテナーのコマンドはここで実行できます。 残りの両方のサービスにはinfluxDBが必要であるため、これらのサービスの説明にdepend_onキーと値influxを追加します。

グラファナ

grafana / grafanaイメージを使用して、コンテナの3000番目のポートをホストの80番目のポートに転送します。 ルートグリッドを使用すると、スウォームの一部であるホストの80番目のポートを介してgrafanaに接続できます。 データを永続的に保存するには、 grafanaという別のボリュームを作成します。 コンテナフォルダ/ var / lib / grafanaにマウントされます。 また、Grafanaをマネージャーホストに展開します。

指導者

cAdvisorをセットアップするには、以前のサービスよりも少し多く作業する必要があります。 詳細については、 このリンクを参照してください 。 この場合、 ホスト名の値を選択するのは簡単なことではありません。 各ノードにエージェントをインストールします。このコンテナは、ノードとそのノードで実行されているコンテナのメトリックを収集します。 cAdvisorがメトリックをInfluxDBに送信するとき、cAdvisorを含むコンテナの名前を含むマシンタグを設定します。 その値は、実行中のノードのIDに対応する必要があります。 Dockerスタックは、名前にパターンを使用できます。 詳細はこちらをご覧ください 。 コンテナには、実行中のノードのIDを含む名前を付けました。これにより、メトリックの取得元を特定できます。 これは、次の式'{{.Node.ID}}'



を使用して実現されます。

また、cadvisorにいくつかのコマンドラインオプションを追加します。 logtostderrパラメーターは、生成されたcadvsiorログをstderrにリダイレクトし、デバッグを簡素化します。 docker_onlyフラグは、 Dockerコンテナにのみ関心があることを示しています。 次の3つのパラメーターは、収集されたメトリックを配置するリポジトリ内の場所を決定します。 cAdvisorに、 influx：8086でリッスンしているInfluxDBサーバー上のcadvisorデータベースにそれらを配置するように依頼します。 これにより、スタックの流入サービスへのメトリックの送信を構成できます。 スタック内では、すべてのポートが公開（公開）されるため、個別に指定する必要はありません。

ボリュームファイルで指定されたボリュームは、ホストとドッカーからメトリックを収集するためにcAdvisorに必要です。 cadvisorを展開するには、 グローバルモードを使用します。 これにより、各Swarmノードでcadvisorサービスの1つのインスタンスのみが実行されます。

ファイルの最後にボリュームキーがあり、 流入キーとグラフナボリュームを示しています。 両方のボリュームはマネージャーホストでホストされるため、 ローカルドライバーを作成します。

スタックをデプロイするには、上記のファイルをdocker-stack.ymlという名前で保存し、次のコマンドを実行します。

 docker stack deploy -c docker-stack.yml monitor
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

モニタースタックのサービスを開始します。 ノードはコンテナイメージをロードする必要があるため、コマンドの最初の実行には時間がかかる場合があります。 また、cadvisorと呼ばれるメトリックを保存するためのデータベースをInfluxDBに作成する必要があります。

 docker exec `docker ps | grep -i influx | awk '{print $1}'` influx -execute 'CREATE DATABASE cadvisor'
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

コマンドの実行は、 流入コンテナが存在しないというメッセージで失敗する場合があります。 このエラーの理由は、コンテナの準備がまだ整っていないことです。 少し待ってからコマンドを再実行してください。 influxサービスはマネージャーホストで実行されており、ここにインストールされているdockerを使用するため、コマンドを実行できます。 InfluxDBでコンテナーIDを確認するには、docker docker ps | grep -i influx | awk '{print $1}'



docker ps | grep -i influx | awk '{print $1}'



docker ps | grep -i influx | awk '{print $1}'



、 cadvisorというデータベースを作成するには、 influx -execute 'CREATE DATABASE cadvisor'



を実行する必要があります。

スタックサービスを一覧表示するには、 docker stack services monitor



ます。 コマンドからの出力は次のようになります。

 ID NAME MODE REPLICAS IMAGE 0fru8w12pqdx monitor_influx replicated 1/1 influxdb:latest m4r34h5ho984 monitor_grafana replicated 1/1 grafana/grafana:latest s1yeap330m7e monitor_cadvisor global 3/3 google/cadvisor:latest
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

実行中のコンテナのリストは、 docker stack ps monitor



コマンドで取得できます。出力は次のようになります。

 ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS n7kobaozqzj6 monitor_cadvisor.y78ac29r904m8uy6hxffb7uvn google/cadvisor:latest agent2 Running Running about a minute ago 1nsispop3hsu monitor_cadvisor.z52c9vloiutl5dbuj5lnykzvl google/cadvisor:latest agent1 Running Running about a minute ago 9n6djc80mamd monitor_cadvisor.qn82bfj5cpin2cpmx9qv1j56s google/cadvisor:latest manager Running Running about a minute ago hyr8piriwa0x monitor_grafana.1 grafana/grafana:latest manager Running Running about a minute ago zk7u8g73ko5w monitor_influx.1 influxdb:latest manager Running Running about a minute ago
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Grafanaのセットアップ

すべてのサービスがデプロイされたら、grafanaを開くことができます。 これには、SwarmノードのIPが適しています。 次のコマンドを実行してIPマネージャーを指定します。

 open http://`docker-machine ip manager`
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

デフォルトでは、ユーザー名adminとパスワードadminがgrafanaへのログインに使用されます。 grafanaでは、InfluxDBをデータソースとして追加する必要があります。 ホームページに[ 最初のデータソースを作成 ]リンクがあります 。それをクリックします。 リンクがない場合は、[ データソース ]メニューから[ データソースの追加 ]を選択します。これにより、新しいデータソースを追加するためのフォームが開きます。

Grafanaへのデータソースの追加

データソースには任意の名前を付けることができます。 デフォルトのチェックボックスをオンにして、今後他のフォームで指定する必要がないようにします。 次に、TypeをInfluxDB 、URL- http：// influx：8086およびAccess- proxyに設定します。 そのため、InfluxDbコンテナーを指しました。 [データベース]フィールドに「 cadvisor」と入力し、[ 保存してテスト ]をクリックします -[ データソースが機能しています]というメッセージが表示されます。

プロジェクトのgithubリポジトリには、Grafanaにインポートするために作成されたdashboard.jsonファイルがあります。 Swarmで実行されるシステムとコンテナを監視するためのツールバーについて説明します。 次に、このツールバーをインポートして、次のセクションで説明します。 [ ダッシュボード ]メニュー項目にカーソルを合わせ、[ インポートオプション ]を選択します。 [ .jsonファイルのアップロード ]ボタンをクリックして、 dashboard.jsonを選択します。 次に、データソースを選択し、[ インポート ]ボタンをクリックします。

Grafanaダッシュボード

Grafanaダッシュボード

Grafanaにインポートされたツールバーは、Swarmのホストとコンテナーを監視するように設計されています。 ホストレベルとその上で実行されているコンテナにドリルダウンできます。 2つの変数が必要になります。それらをGrafanaツールバーに追加するには、テンプレートを操作する機能が必要です。 InfluxDBと組み合わせたテンプレートの操作に関する詳細は、 このページにあります 。 ノードを選択するホストと、 コンテナを選択するコンテナの2つの変数があります。 これらの変数を表示するには、ツールバーページで[ 設定]を選択し、[ テンプレート ]をクリックします。

最初の変数-host-では、ノードとそのメトリックを選択できます。 cAdvisorがInfluxDBにメトリックを送信すると、フィルタリングに使用できるいくつかのタグがメトリックに追加されます。 cAdvisorインスタンスのホスト名を含むmachineというタグがあります。 この場合、swarmのホストIDと一致します。 タグ値を取得するにはshow tag values with key = "machine"



クエリでshow tag values with key = "machine"



使用します。

2番目の変数-container-は、コンテナのレベルまでドリルダウンできます。 container_nameという名前のタグがあり、コンテナーの名前が予想どおりに含まれています。 また、ホストタグの値でメトリックをフィルタリングする必要があります。 リクエストは次のようになります： show tag values with key = "container_name" WHERE machine =~ /^$host$/



。 ホスト変数に関心のあるホストの名前が含まれるコンテナのリストが返されます。

コンテナ名は次のようになります。

monitor_cadvisor.y78ac29r904m8uy6hxffb7uvn.3j231njh03spl0j8h67z069cy ただし、関心があるのはmonitor_cadvisor部分のみです（最初の点まで）。 同じサービスの複数のインスタンスが実行されている場合、それらのデータを別々の行に表示する必要があります。 部分文字列を最初のポイントまで取得するには、正規表現/([^.]+)/



使用します。

変数を設定したら、グラフで使用できるようになりました。 さらに、 メモリグラフィックスについても説明しますが、残りについても同じ原理で作業できます。 メモリ関連のデータはInfluxDBのmemory_usage行にあるため、クエリはSELECT "value" FROM "memory_usage"



ます。

ここで、 WHERE句にフィルターを追加する必要があります。 最初の条件は、 machineが ホスト変数の値と等しいことです： "machine" =~ /^$host$/



。 次の条件では、 container_nameはcontainer変数の値で始まる必要があります。 ここでは、 コンテナ変数を最初のポイントにフィルターしたため、「starts with」演算子を使用します： "container_name" =~ /^$container$*/



。 後者の条件は、grafanaツールバーで選択された時間間隔$ timeFilterに従ってイベントに時間制限を課します。 クエリは次のようになります。

 SELECT "value" FROM "memory_usage" WHERE "container_name" =~ /^$container$*/ AND "machine" =~ /^$host$/ AND $timeFilter
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ホストとコンテナごとに別々の行が必要なので、 machineタグとcontainer_nameタグの値に基づいてデータをグループ化する必要があります。

 SELECT "value" FROM "memory_usage" WHERE "container_name" =~ /^$container$*/ AND "machine" =~ /^$host$/ AND $timeFilter GROUP BY "machine", "container_name"
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このクエリのエイリアス： Memory {host: $tag_machine, container: $tag_container_name}



も作成しました。 ここで、 $ tag_machineはmachineタグの値に、 tag_container_nameはcontainer_nameタグの値に置き換えられます。 残りのグラフも同様の方法で構成され、シリーズ（シリーズ）の名前のみが変更されます。 Grafanaでこれらのメトリックのアラートを作成できます。 アラートシステム（アラート）の詳細については、 こちらを参照してください 。

おわりに

この記事では、Docker Swarmのスケーラブルな監視システムを作成しました。これは、swarmに含まれるすべてのホストとコンテナーからメトリックを自動的に収集します。 その過程で、人気のあるオープンソースツールであるGrafana、InfluxDB、cAdvisorに会いました。

デモを完了した後、次のコマンドでスタックを削除できます。

 docker stack rm monitor
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

不要な仮想マシンは、次のコマンドで停止および削除されます。

 docker-machine stop manager agent1 agent2 docker-machine rm -f manager agent1 agent2
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

参照：

1. オリジナル： cAdvisor、InfluxDB、Grafanaを使用したDocker Swarmの監視 。